微软正在悄悄改变企业AI的游戏规则!
现在,微软已经悄悄组建了世界最大的AI智能体生态系统,
自推出以来,已经有超过10万家公司,用Copilot Studio创建了自己的AI智能体。
比如,麦肯锡通过自动化的流程分配智能体,将项目受理流程从20天缩短至仅2天;Pets at Home在不到两周内部署了防欺诈智能体,每年节省数百万美元……
「这个增长速度远超我们的预期,也远超我们发布的其他任何前沿技术的表现,」微软智能体负责人Charles Lamanna透露道,「仅仅一个季度,就实现了2倍的增长。」
在昨天的Ignite大会上,微软更是重磅宣布:企业可以在智能体中,使用Azure目录中1800个LLM中的任何一个模型了!这就意味着,微软不再依赖于OpenAI的独家模型。
同时,微软还全新推出了可以独立工作的自主AI智能体,它们可以检测事件,在最低程度的人为干预下,来参与进我们复杂的工作流。
这些AI智能体能自主推理,还能操作执行特定任务的软件。从此,企业的生产力又将更进一步。
Copilot
在Word中,Copilot将帮助你查找相关的来源和额外的内容,以便进行草拟。
当开始撰写新文档时,Copilot会找到相关的文件、电子邮件和会议记录,并基于它们创建草稿。在撰写文档过程中,Copilot会在整个文档中显示这些来源,并让你选择是否在草稿中保留引用。
该功能从11月开始在Word网页版中提供,并于2025年初在桌面端推出。
Copilot还会根据语气、结构和故事性等方面提供改进建议,帮助你提升文档质量。该功能目前提供公共预览版。
只需在Copilot聊天窗格中输入提示,它就可以在文档中智能检索并添加SharePoint组织资源库中的相关图像,也可以使用DALL-E 3生成相关的新图像。该功能将于本月推出。
无论是创建项目预算、库存跟踪器还是销售报告,从零开始创建一个符合需求的电子表格可能既令人畏惧又耗时。
现在,Copilot可以帮你解决。只需告诉Copilot想要创建什么,Copilot就会根据你的需求建立一个模板。该功能将于年底前开始向拥有Microsoft 365 Copilot许可证的Windows和网页用户推送。
例如,你可以快速创建一个公司销售团队的表格。Copilot可以添加列、应用条件格式,甚至按指令更改表格颜色。只要你对表格满意,你就可以将其插入页面并继续使用Copilot。
在Excel中,Copilot可以引用企业内部数据中的Word、Excel、PowerPoint和PDF文件了。
如果让Copilot在Excel中列出Word文档中草拟的新闻稿中的公告,它会给出一个列表,让我们插入到新表格中,或者复制粘贴到现有的表格中。
在专注于工作流的同时,我们就可以轻松获得企业信息,比如让Copilot提供某位特定经理的所有直属员工名单,将其插入到电子表格中。
另外,我们还可以在Excel的Copilot中无缝进行网络搜索,在不打乱工作流的情况下,查找日期、统计数据,或者查找各国汇率的表格,把这些信息复制粘贴到自己的表格中。
你还可以用自然语言从Excel文件中查找和导入表格。
对于文本密集型的Excel表格,例如客户反馈和调查结果,Copilot的文本分析功能可以帮助你更深入地理解这些数据。只需让Copilot总结你的文本数据,它还会附上引用信息,帮助你了解数据来源。
Copilot还可以将文本数据按主题分类和排序,帮助你更快速地分析非结构化的文本数据。例如,如果你有数千条客户评论,Copilot可以将它们划分为多个主题,如质量、服务和价格,帮助你快速确定需要进一步关注的主题。
你还可以将这些主题插入表格中的新列,保留分析结果,并创建数据透视表和图表,直观呈现主题的数量和趋势。
PowerPoint
和Word的部分功能类似,Copilot也支持优化文本、插入图片。
此外,Copilot的Presentation Translator功能可以将演示文稿翻译成40种语言,可翻译的内容包含文本框、形状、表格、图表、演讲者备注、评论以及Smart-Art中的文字。
Copilot会自动为所有幻灯片生成演讲者备注,为你提供一个可靠的初稿,你可以根据需要进一步修改。
通过简单的提示和一个Word文件,Copilot的Narrative Builder能够依据它们起草一个PPT初稿。
在9月,微软发布了Copilot Pages——一个为多人AI协作设计的动态、持久画布。
除了文本,Pages现在还支持更多内容类型,如代码、互动图表、表格、图示和数学公式。
这些组件可以基于网页或工作数据在BizChat中创建,并且它们可以进行实时交互和动态修改,能够在通过Outlook、Teams等Microsoft 365应用分享时保持同步。
Copilot Pages还增加了多页面支持,你可以在单个聊天会话中创建多个新页面,或者将来自多个聊天会话的内容添加到单个页面中。
此外,你还可以在移动设备上编辑和分享Pages,从而实现多端多人协作。
所有这些功能将在2025年初正式推向Pages。
在Outlook中,通过Copilot,用户可以使用自然语言来安排会议。Copilot还能帮助你起草会议议程,包括摘要和关键要点。
在OneNote中,借助Copilot Chat,你可以通过自然语言命令,总结笔记内容、创建任务列表或重写笔记内容。
此外,Copilot还能帮助你在几秒钟内整理笔记本的章节。在OneNote应用中打开Copilot,输入「整理这个章节」,Copilot就会自动整理您的笔记页面。
而Facilitator智能体将在2025年初支持Teams会议室功能,能够为会议室内外的所有与会者实时记录并显示笔记。
Facilitator智能体还支持说话者识别的功能。这一功能将支持更多会议场景,从Teams会议室到自带设备(BYOD)的会议室,能够识别房间内的声音和人员,让每位发言者清晰可见。说话者识别还使Copilot、Facilitator以及智能会议回顾能够正确识别发言人,确保会议记录和行动项归属准确无误。
此外,微软还推出了一款新的AI翻译器,可以模拟发言者的声音,在Teams平台上提供九种语言的近实时语音翻译,包含中文(普通话)、英语、法语、德语、意大利语、日语、韩语、葡萄牙语(巴西)和西班牙语。
目前该功能正在一小部分用户中进行测试,预计将在2025年向拥有Microsoft 365 Copilot许可证的账户广泛开放。
正如开篇所述,微软对于Copilot Studio的更新可谓是相当重磅。
1. 扩展知识管理功能
开发者可以使用最新的生成模型,实时更新并引用第三方数据源,利用检索增强生成(RAG)功能,提升其智能体的质量。
2. 新增分析功能
开发者可以根据特定结果筛选图表,以了解关键绩效指标(KPI)和客户满意度。
3. 新增语音和图像功能
现在可以加入语音解决方案,包括互动语音应答(IVR)系统;或者将智能体部署到应用程序中,让用户通过语音与智能体互动。用户不仅可以与智能体进行语音交流,还可以上传图片并要求智能体分析并回答有关该图片的问题。
4. 定制自主智能体功能进入预览阶段
开发者可以创建无需人工提示的智能体,它们检测到特定事件后可随时做出响应,并触发一系列业务操作。
5. Microsoft 365 Agents SDK进入预览阶段
有了SDK,开发者如今可以通过代码扩展智能体的功能,构建企业级、可扩展的多渠道智能体。
Copilot Studio正在扩展知识管理和RAG(检索增强生成)能力。该功能已进入预览阶段。
平台引入了连接器功能,可以接入全新的知识源。开发者现在可以让智能体从多个第三方数据源(如Salesforce、ServiceNow和Zendesk)获取实时知识。Copilot Studio仅对这些表格的元数据进行语义索引,无需数据移动,就能帮助回答来自这些第三方源的复杂问题。
你还可以将某些数据来源标记为「权威」,以确保智能体优先使用这些数据,提供可靠的相应。
除了接入新知识,Copilot Studio还使用了最新的GPT模型并优化了RAG策略,以获取高质量答案。
通过高级知识调优功能,开发者可以更好地控制数据源。对于每个问题,开发者现在可以清楚地看到哪些数据源被使用、哪些还尚未解答。知识调优功能还会建议从组织中添加额外知识,并提供指导性方法来筛选和优先考虑知识源。
智能体上线之前,开发者还可以进行测试,查看其响应的准确性如何。
此外,平台还提供详尽的分析数据,如数据源使用率等,以了解是否需要调整某些数据源。
Copilot Studio的知识管理功能还整合了Azure AI Foundry,以支持更复杂、更定制化的场景。
开发者通常会在Azure AI中存储大量数据。
现在可以直接将这些数据作为知识源用于Copilot Studio,可以在Azure AI Search中构建的向量化索引上执行搜索操作,以访问非结构化数据。
开发者还可以将这些数据与定制的RAG策略结合到Copilot Studio中,以获得更准确的结果。通过连接所有数据源,组织可以确保智能体更加贴合其业务数据,提供具体且高质量的响应。
这还不是全部。Copilot Studio中还引入了更高级的Azure AI功能。开发者很快就能访问Azure AI模型目录中的模型,其中包括超过1800个模型。他们还可以直接在Copilot Studio中访问并调用自己定制微调的模型。
全新分析
通过全新的分析功能,开发者能够了解其生成式AI系统的运行情况。
除了前面提到的知识库数据源的分析外,用来衡量系统或业务整体表现的顶层指标也得到了全面升级。这些指标将更完善、更高效,并能够展示长期趋势。
开发者可以根据特定结果筛选图表,以了解关键绩效指标(KPI)和客户满意度。
Copilot Studio现已加入语音功能。企业可以将智能体集成到交互式语音应答系统(IVR)中,让原本僵化的语音菜单变身为灵活的AI助手。
只需指定知识来源,智能IVR即可在电话中轻松应对大量复杂问题,显著减少问题升级至人工处理的情况。这些智能语音助手还能识别语音、处理用户打断、检测静音、并进行重新提示。
不仅限于IVR系统,支持语音的智能体还能嵌入应用程序、独立终端、礼宾系统等场景。
例如,一家酒店的应用程序可以使用一个接入相应知识库的Copilot智能体,充当客房内的专属礼宾服务,为宾客提供贴心帮助。
除了语音功能,Copilot Studio还新增了图像处理能力。
用户现在可以上传图片,并向智能体提问。例如:「为什么我这个月的账单更高?」
此外,图像上传还能用来录入数据。销售人员可以对智能体说:「把这些手写笔记添加到CRM系统中。」
定制自主智能体的功能早在10月底宣布,如今终于开启预览。
自主智能体可以独立代表用户、团队或组织,自动化处理那些复杂又耗时的业务任务。
开发者可以设计智能体检测特定事件(例如新邮件到达),这些智能体可随时做出响应,并利用生成式AI触发一系列操作,自动化复杂的业务任务。
例如,智能体可以一口气执行以下操作:
1. 评估邮件意图
2. 查找发件人详细信息及账户信息
3. 查看以往通信记录
4. 检查库存情况
5. 回复发件人并询问其偏好
6. 采取适当行动关闭工单
开发者既可以从零开始构建自主智能体,也可以在Copilot Studio中配置预构建好的特定功能的智能体。
Microsoft 365 Agents SDK目前已经提供预览版。
这意味着Copilot Studio的开发者如今可以通过代码扩展智能体的功能,构建企业级、可扩展的多渠道智能体。
开发者拥有完全的灵活性,可以连接任意AI服务,包括Azure AI Foundry、Semantic Kernel、Copilot Studio等。
使用SDK构建的智能体还可以部署到多种渠道,如Microsoft 365 Copilot、Microsoft Teams、Web,以及十多个第三方消息平台。
大会上,微软推出了两款专为数据中心基础设计设计的芯片:Azure Integrated HSM和Azure Boost DPU。
Azure Boost DPU是微软的第一个数据处理单元,专为以数据为中心的高效率和低功耗工作负载而设计。
微软预计未来配备DPU的Azure服务器,将以现有服务器4倍性能运行,但同时也要消耗3倍的电力。
这款芯片的设计,可能起源于微软去年12月,以1.9亿美金收购的DPU制造商Funcible。
另一款芯片是专为安全而打造的Azure Integrated HSM。
它可以将前签名钥和加密密钥放在一个安全模块中,而不会影响性能,或增加延迟。
它是继Pluton之后,微软第二颗安全芯片。Pluton是一款内置于英特尔、AMD和高通处理器中的以消费者为中心的芯片。
从明年开始,Azure Integrated HSM将配备在微软数据中心的每一台服务器上,以增加Azure硬件对机密和通用工作负载的保护。
在硬件方面,微软发布了一款自称比Mac mini还要小的PC——Windows 365 Link,售价349美元(2526元)。
这款mini PC计划在明年推出,并搭配Windows 365云服务使用。
也就是说,它将不会在设备上运行任何本地内容。
Link被设计成一款紧凑、无风扇、易于使用的云电脑,可连接显示器和外部设备。
通过Windows 365服务,企业可以让员工使用存在于云端的虚拟机,这些虚拟机可以安全地串流到多个设备上。
它可以在几秒内启动,能够即时从睡眠状态唤醒,并使用自己的芯片来处理Microsoft Teams或思科Webex的视频。
它有两个USB-A 3.2端口和一个USB-C 3.2端口,以及一个DisplayPort和HDMI端口和以太网连接。在前面,有一个USB-A 3.2端口,还包括Wi-Fi 6 E和蓝牙5.3无线连接。
参考资料:
https://www.microsoft.com/en-us/microsoft-copilot/blog/copilot-studio/copilot-studio-is-enhancing-its-platform-with-knowledge-improvements-azure-ai-integration-and-more/
https://venturebeat.com/ai/microsoft-quietly-assembles-the-largest-ai-agent-ecosystem-and-no-one-else-is-close/
文章来自微信公众号 “新智元”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。
项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file
本地安装:https://www.deepbi.com/
【开源免费】airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。
项目地址:https://github.com/hitsz-ids/airda
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales