
“外界不只有 Meta 一家公司表达过收购兴趣”
做决定之前,李博和 Virtue AI 团队讨论过很多问题。
这不是一次简单的跳槽,也不是一个创业团队突然被大公司带走。对核心成员来说,他们要判断的不只是“要不要加入 Meta”,而是一个更具体的问题:如果过去两年做出来的 AI 安全能力,真的有机会进入数十亿用户规模的产品系统,他们要不要走进去?
这件事最早并不是从一场收购谈判开始的。在更早之前,Meta 已经是 Virtue AI 的客户。双方先从战略合作切入,Virtue AI 团队先要做的,是像所有创业公司一样,证明自己的产品真的有用。
Meta 并不是一个容易被说服的客户。它有自己的模型团队、产品团队、安全团队,也有足够多的内部技术资源。对这样一家公司来说,外部供应商如果只是提供一个单点工具,很难真正进入核心系统。
但 Virtue AI 说服 Meta 的,不只是一个产品,而是一整套关于 AI 安全的判断。在 Meta 实际使用了一段时间之后,双方的关系开始发生变化。
Meta 看到的,也不只是自动化红队、运行时防护、Agent 安全测试这些具体能力,而是一支长期研究 AI 安全、又已经在真实客户场景中打磨过产品的团队。
真正让李博和团队开始认真考虑这件事的,是 Meta 正在推进的 personalized agents。
过去,AI 更像一个聊天窗口。用户问问题,模型回答。回答错了,问题大多停留在内容层面:一句不准确的总结,一个荒谬的建议,一段有漏洞的代码。但 Agent 不一样。
Agent 会进入用户和企业的工作流,可能访问邮箱、日历、代码仓库、数据库和内部系统,也可能调用工具、运行命令、修改文件、发起请求,甚至替用户完成一连串操作。
这意味着,AI 的风险不再只是“说错话”,而是“做错事”。
这恰好是李博和 Virtue AI 过去几年一直试图回答的问题:当 AI 走出论文、走出 Demo,真正进入真实世界,人们如何确认它是安全的、可信的、可控的?
在创立 Virtue AI 之前,李博已是国际 AI 学术界备受瞩出的青年学者,先后获得多项具有国际影响力的荣誉,包括有“诺贝尔奖风向标”之称的斯隆研究奖(Alfred P. Sloan Research Fellowship)、MIT Technology Review TR35(全球35位35岁以下科技创新者)、IEEE AI's 10 to Watch、IJCAI Computers and Thought Award、NSF CAREER Award,以及一系列国际顶级会议的最佳论文奖。
在论文里,安全问题可以被拆成很多方向:robustness、privacy、security、alignment、generalization。每一个方向都有自己的定义、实验、数据集和评测方法。但创业之后,她面对的是另一种问题。
客户不会先问一个攻击样本在 benchmark 上的表现,也不会只关心某个模型在公开评测里的分数。企业客户的问题通常更直接,也来自真实的人。
银行里的安全负责人要面对监管和客户数据。保险公司的合规团队要确认系统不会泄露敏感信息。大型科技公司的产品经理要在上线速度和安全风险之间做取舍。基础模型公司的红队成员则要不断寻找模型边界,测试它会不会在复杂任务中被诱导、滥用或绕过限制。
这些人每天都在问同一个问题:我能不能放心把 AI 放进生产环境?
Virtue AI 创立后,李博和团队试图把研究里的安全问题,翻译成企业可以真正部署的产品。这不是一件简单的事。研究可以证明某种攻击是可能的,但企业需要的是一套流程:上线前怎么测,上线后怎么防,出了问题怎么追溯,风险怎么记录,权限怎么控制,合规怎么交代。
也正是在这些客户身上,Virtue AI 逐渐形成了一套更工程化的判断:AI 安全不是一个单点功能,而是一套覆盖开发、测试、部署和运行全过程的基础设施。
过去两年,Virtue AI 服务过 Fortune 500 企业,也和国际领先 AI 实验室合作,开展模型和 Agent 的安全评估。这些客户来自不同行业,但他们遇到的问题越来越相似。
金融行业最早把 AI 安全当成刚需。银行、保险、资产管理机构本身受到严格监管,又处理大量敏感数据。对他们来说,AI 系统能不能上线,不只是技术问题,也是合规问题、审计问题和责任问题。
大型科技公司和基础模型公司则更早遇到前沿风险。Prompt Injection、模型滥用、Agent 攻击、工具调用风险,这些问题不再只是研究论文里的案例,而是产品团队每天都可能遇到的真实场景。
最近一年,企业软件、办公自动化 Copilot、客服系统和代码生成平台也开始更快采用 AI。很多公司原本只是想让 AI 帮员工写邮件、总结文档、生成代码,但很快就发现,只要 AI 开始连接内部系统,安全边界就会被重新打开。
在不同场景里,安全负责人、产品经理、工程团队和法务合规团队的关切并不完全一样。产品团队关心上线速度,安全团队关心风险边界,法务和合规团队关心责任和审计,业务团队则关心 AI 到底能不能提高效率。
Virtue AI 要做的,是把这些不同角色的关切放进同一个系统里。
上线之前,企业需要自动化红队。它解决的是最基础的问题:在 AI 真正进入业务之前,企业到底知不知道它会在哪里出问题。Prompt Injection、越狱、数据泄漏、越权访问、Agent 滥用,这些问题都应该尽可能在上线前暴露出来。
上线之后,企业需要运行时防护。因为没有任何测试能够覆盖所有真实情况,AI 进入生产环境后,仍然需要实时检测恶意 Prompt、危险工具调用、异常 Agent 行为和敏感数据泄露。
这也是Virtue AI 的产品之一 VirtueGuard 的位置。它不是只处理文本的简单 guardrail,而是面向真实企业环境的实时防护系统。企业里的风险不会只出现在一种语言里,也不会只出现在一种输入形式里。它可能来自 text、image、video、audio、code,也可能来自一个跨语言、跨系统、跨工具的复杂任务。
到了 Agent 阶段,问题会更复杂。传统 Chatbot 主要生成内容,Agent 却会调用工具、访问系统、执行动作。因此,安全系统不能只看输入和输出,还要看 Tool、MCP、Memory、Action、Network 等环节,判断每一步是否符合企业安全策略。
VirtueAgent Suite 要解决的,正是这个问题。它更像是 agentic systems 的 agentGuard 和 gateway,既要在 Agent 执行动作前发现风险,也要在 Agent 运行过程中约束它能访问什么、能调用什么、能执行什么。
最后是治理和合规。大型企业不只关心 AI 会不会出错,还要回答监管和审计问题:是否符合企业政策,是否符合行业规范,是否留下完整日志,风险管理流程是否可追溯。
所以,Virtue AI 衡量产品效果时,也不会只看一个指标。漏洞发现数量、风险类别覆盖、攻击拦截率、误报率、系统延迟、上线时间缩短,以及是否帮助客户形成可审计的治理流程,都是重要指标。
回到 Meta 收购 Virtue AI 这件事。从形式上看,这次更接近硅谷常见的团队收购。Meta 一开始关注的,也不只是某一个单点产品,而是更广义的 AI 安全能力。
模型安全、Agent 安全、红队、治理、运行时保护,这些能力都和 Meta 未来要做的 personalized agents 有关。对 Meta 来说,personalized agents 不只是一个新的 AI 应用形态。它意味着 AI 会更深入地进入用户生活和工作场景,理解用户偏好,帮用户完成任务,也可能在更多系统和工具之间行动。
这也是安全问题最容易被放大的地方。如果一个模型只是回答问题,安全系统可以更多关注内容边界。但如果一个 Agent 能替用户执行任务,安全系统就必须知道它在什么上下文里行动、代表谁行动、有没有权限行动、行动之前是否需要确认、行动之后是否可以追溯。
这和 Virtue AI 过去两年的经验高度重合。过去,他们在企业客户身上证明了一套 AI 安全基础设施的必要性。进入 Meta 之后,这些经验有机会被放进更大规模的产品系统里。这也是 Virtue AI 一直以来的目标:making AI secure and trustworthy for everyone。
但做决定并不容易。团队需要考虑研究自主性,也需要考虑团队完整性;需要考虑产品延续性,也需要考虑已有客户的责任;更重要的是,他们要判断自己进入 Meta 之后,能不能真正影响核心系统,而不是只停留在边缘位置。
外界也不只有 Meta 一家公司表达过兴趣。但最后选择 Meta,是因为它的产品方向、组织位置和安全需求,与 Virtue AI 过去两年的积累更匹配。
换句话说,这不是一次简单的“被大厂买走”。更像是一个研究者和一支创业团队,在经历了学术研究、产品验证和真实客户之后,走进了下一代 AI 系统的建设现场。
李博对 Agent 时代有一个很关键的判断:未来 AI 安全最大的挑战,不只是模型越来越强,而是模型能力增长很快,但安全基础设施、治理流程和行业标准没有同步跟上。
强大的模型如果缺少足够强的安全系统,会放大已有风险。过去,很多人讨论 AI 安全时,关注的是模型会不会输出危险内容、会不会幻觉、会不会被越狱。但 Agent 时代的问题更像企业安全问题。
如果把企业里的 AI Agent 看成一种“数字员工”,那么企业也需要重新设计它的入职、授权、监督和退出机制。那些过去属于身份管理、权限控制、企业安全和审计的问题,现在都会成为 Agent 安全的一部分。
Prompt Injection 在这个场景下也会变得更危险。在普通聊天中,Prompt Injection 很多时候影响的是模型输出。但如果 Agent 能调用工具、读取文件、访问邮件或执行命令,被注入的指令就可能影响真实动作。一个看似普通的网页、一封邮件、一段文档,都可能成为攻击入口。
更复杂的是多步组合风险。Agent 的每一步单独看都可能合理:读取一个文件、调用一个工具、生成一段代码、修改一个配置。但这些步骤连在一起,可能导致越权访问、数据泄漏或破坏性操作。
安全系统必须理解的不只是单次输入输出,而是整个执行链路。这就是为什么 Agent 安全不能只靠一个模型层面的回答。
近几年行业中的一些事件,也让这种变化变得更直观。
模型过度迎合用户,说明 AI 安全不只是阻止危险内容输出,也包括防止模型强化用户的错误判断、负面情绪或冲动行为。这不只是体验问题,也涉及 alignment、可信 AI 和安全。
AI 搜索摘要给出荒谬答案,说明可信 AI 不只是普通幻觉问题,还涉及信息来源、语境理解、检索质量和系统设计。如果企业内部知识库里混入旧文件、错误文件或低质量文档,AI 也可能把这些内容总结成看起来很权威的答案,反而放大组织内部的错误信息。
Coding Agent 误删生产数据库,则更直接地说明:当 AI 能执行动作,风险已经从“答错”升级为“做错”。随着 AI coding assistant 被越来越多开发者使用,另一个风险也在变大:AI 生成的代码可能包含安全弱点,开发者也可能因为过度信任模型而减少审查。
这些事件共同指向一个趋势:AI 安全不能再只被放在产品发布前的最后一步。过去,安全常常像一道发布流程:模型训练完,产品做出来,然后评测、红队、合规,最后上线。
但 Agent 时代,这种方式已经不够了。安全必须更早进入产品设计,进入权限系统,进入工具调用,进入运行时监控,也进入治理流程。
这也是李博理解 alignment 和 AI security 的方式。Alignment 关注 AI 系统的目标、价值和行为是否符合人类意图;AI security 关注系统在真实环境中是否能抵御攻击、滥用和异常行为。到了 Agent 时代,这两件事很难分开。
一个系统是否可信,不能只看模型在公开评测里的分数,也不能只看它是否会输出安全答案。更重要的是,它能访问什么数据,能调用什么工具,能执行什么动作,是否符合权限,是否留下审计记录,是否能在运行中被持续监控。
前沿模型的安全测试也因此正在变得更复杂。公开系统卡、agentic safety 测试、computer use 测试、coding capability 测试、cyber evaluations,都会越来越重要。测试不能只问模型几个普通问题,而要把模型放进有目标、有上下文、有工具使用能力的复杂场景里,看它到底会怎么做。
红队机制也需要变化。内部红队适合持续嵌入研发流程,在训练、微调和产品化过程中发现问题;外部红队则提供独立视角,在关键发布节点帮助团队发现盲区。更成熟的方式,是让安全评估成为模型迭代的一部分,而不是发布前最后一道检查。
治理同样如此。AI 安全治理最难的地方,不只是技术变化快,也不只是风险定义不清,而是参与方很多。研究团队、产品团队、法务、合规、政策、客户、监管机构,甚至社会公众,对“可接受风险”的理解都不一样。
所以治理不是写几条原则就够了,而是要把原则变成可执行、可衡量、可审计的流程。组织既要快速创新,也要能对风险负责。
从研究者,到创业者,再到 Meta Superintelligence Labs,李博的路径背后,是 AI 安全位置的变化。
在学术界,她研究的是 AI 系统为什么会不可靠、不安全、不可信。在 Virtue AI,她面对的是客户每天都会问的现实问题:系统能不能上线,风险能不能看见,权限能不能控制,出了问题能不能审计。
进入 Meta 之后,她和团队要面对的,是更大规模的产品系统,以及更复杂的 personalized agents 场景。这件事最值得关注的地方,也许不只是李博去了哪里,而是 AI 安全正在从边缘走向中心。
未来 3 年,AI 安全会从“模型安全”走向“系统安全”和“Agent 安全”。企业不会只在上线前测试一次 AI,而是会在开发、测试、部署、运行全过程中持续红队、持续监控、持续治理。
这或许是李博及其团队加入 Meta 最值得关注的地方。
它不是一个单纯的个人去向,也不是一个普通团队加入大厂的故事,而是一个 AI 安全研究者在经历学术研究和创业验证之后,进入下一代 AI 系统建设现场的故事。
当 AI 只是聊天工具,安全可以是最后一道检查。
但当 AI 开始替人做事,安全就必须成为系统本身。
文章来自于"雷峰网",作者 "郑佳美"。
【开源免费】字节工作流产品扣子两大核心业务:Coze Studio(扣子开发平台)和 Coze Loop(扣子罗盘)全面开源,而且采用的是 Apache 2.0 许可证,支持商用!
项目地址:https://github.com/coze-dev/coze-studio
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0