# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
一次错误回答，可能只会让用户关掉页面；一次错误执行，却可能改写企业数据库、触发一笔交易，甚至让整条业务流程偏离轨道。
AI 的能力边界不断扩张，错误的代价也随之上升。过去只出现在实验室报告中的 reward hacking、alignment faking，正在进入开发者和普通用户的真实体验。而这只是开始：当成千上万个自主 AI 系统彼此调用、持续运行，甚至成为公共基础设施的一部分，如何保证它们安全地运行，今天还没有人给出答案。
方寸跃迁想做这道题的答卷人。首席科学家董胤蓬自 2016 年起研究对抗样本与深度学习鲁棒性，早在行业为 AlphaGo 和人脸识别的精度欢呼时，他就在追问相反的问题：模型为何失败，又会在什么条件下失控。CEO 李筱健则从数学出发走向 AI 安全研究与国际治理。两条轨迹最终汇成一个共同判断：AI 安全既有足够深的科学问题，也有把研究变成真实价值的产业空间。
传统安全依赖明确边界、固定规则和已知漏洞，Agent 的行为安全却横跨模型、工具、权限、上下文、系统调用和业务流程。模型越自主，行动路径越难穷举；任务越复杂，人类越难逐步判断每一次决策是否合理。安全由此从一道部署前的检查题，转变为贯穿运行全过程的持续能力。
这期内容，Z Potentials 专访了方寸跃迁创始人和首席科学家，从个人经历、Agent 行为监测、安全评测的可信性，聊到数据飞轮、企业镜像环境与具身安全，最终触及一个越来越无法回避的问题：当 AI 获得更强的行动能力，我们凭什么放心地把权限交给它？在他们看来，安全做到七八十分等于没做，必须做到九十九分：性能、时延、成本都要追求极致。而模型、攻击方式和应用形态仍在持续变化。每完成一次九十九分的答卷，下一轮新的风险已经出现，所有人也随之重新站上起跑线。
以下是我们的对话实录，经编辑修改，enjoy～
ZP：请两位先分别介绍一下自己的研究和职业经历，以及方寸跃迁之前最重要的几段经历。
董胤蓬：我本科和博士都在清华大学计算机系。博士期间主要做深度学习模型的鲁棒性和对抗样本方面研究，这是人工智能安全里一个比较重要的方向。我们算是国内、甚至国际上比较早关注这个问题的一批团队。博士毕业以后，我继续在清华计算机系做博士后，也是在那段时间，研究逐渐从传统深度学习模型的安全转向大模型安全。2025 年年初，我来到清华大学人工智能学院做助理教授，继续沿着这个方向做研究。现在在方寸跃迁担任首席科学家，其实也是把过去一直在做的事情延续下来。
李筱健：我以前是做数学的，本科阶段在美国发表了一些研究，硕士在 UC Berkeley。在做数学的过程中感觉比较孤独，一方面即使是相同领域的研究者，由于彼此研究的问题不同，很多时候很难和同行深入交流；另外一方面，我比较看重自身工作的社会意义和落地性，因此选择回国和学术界、产业界的人交流，接触新的可能。回国以后，我先在清华大学交叉信息研究院徐葳老师的团队做了一年 Research Assistant，之后进入清华大学人工智能学院读博士，一直做 AI 安全相关研究。除了科研以外，我也长期参与国际 AI 安全前沿治理和交流。AI 安全正好同时需要理论、算法、政策治理和产业应用的视角，这种交叉性对我很有吸引力。
ZP：两位最初是怎么认识的？为什么都选择了 AI 安全这个方向？
董胤蓬：我开始做这个方向比较早，大概 2016、2017 年就在关注对抗样本。当时正处在一轮 AI 浪潮里，AlphaGo、图像分类、人脸识别都非常受关注，很多深度学习算法的识别精度开始超过人类，于是大家会问：这种模型是不是已经获得了类似人的智能？
对抗样本恰恰从根本上挑战了这个假设。比如在图片里加入人眼几乎看不出来的微小噪声，模型就可能完全识别错误。人的判断和模型的判断为什么会如此不一致？人工智能和人类智能的机理到底有什么不同？我一开始更多是被这些基础问题吸引。后来我们发现，对抗样本不仅能帮助理解深度学习的机理，也会对真实世界里的 AI 应用造成安全风险，研究就逐渐扩展到了更广泛的人工智能安全问题。
我之所以一直坚持这个方向，有三个原因。第一，AI 安全本身具备很重要的意义。很多人都在提升模型能力，但安全问题并不会因为能力提高而自动消失。我们读博时的研究环境就比较强调，不要只在所有人都在做的图像分类、人脸识别任务上卷性能，而要关注模型底层的机理和脆弱性。现在大模型时代也是一样。大家当然需要继续把模型做强，但如果没有人专门研究它为什么会失败、在什么条件下会失控，能力越强，风险也可能越难被发现。
第二，这个方向还有大量没有被充分挖掘的科学问题。OpenAI、Anthropic 等头部实验室都在持续投入安全研究，学术界也不断发现新的前沿风险，但很多问题还没有成熟答案。对科学探索来说，AI 安全本身就是一个非常好的切入口。
第三，我们过去在实验室里做了很多从 0 到 1 的技术，但要把技术真正推广、落地并形成长期能力，还有大量工作要做。学术成果证明一个方法可能有效，产业化还要解决性能、成本、时延、稳定性、接入方式和客户信任等问题，这里存在很大的机会。对我们而言，长期坚持一个方向也很重要：既要有足够深的研究问题，也要有把研究做成真实价值的空间，AI 安全同时满足这两个条件。
李筱健：我和董老师本来就在比较接近的学术体系里，我所在的课题组和董老师的团队主要研究方向都是人工智能安全，过去在科研交流和国际 AI 治理活动中接触很多，所以后来比较自然的决定在这个方向创业。
我自己从读博开始就一直做 AI 安全，也参与国际治理。对我来说，在这个方向创业，是把过去的研究和认知进一步往产业里推进，因此整个创始团队对方向、价值判断和长期目标有足够一致的认识，这一点尤为重要。
ZP：决定创立方寸跃迁的直接契机是什么？
李筱健：有几个标志性的信号：首先，过去参加国际 AI 安全治理活动时，看到海外已经出现了一批 AI 安全创业公司和第三方研究机构，包括 Virtue AI、Apollo Research等等。近期 Virtue AI 的部分核心成员加入 Meta，也能看出头部公司对 AI 安全能力的重视。与此同时，国外大模型公司的安全团队规模也很大。在国际交流里，不只是我们自己会问，海外的研究者、从业者和第三方机构也经常问：中国的 AI 安全准备怎么走？中国 AI 安全的产业化由谁来做？
另一方面，我们持续看到 AI 的风险暴露面在扩大。过去几年，AI 安全还常常被视为比较模糊、长期的担忧；到了 2025、2026 年，随着 Agent 快速发展，基座模型的智能程度、行为复杂度和思考链条都在提升，reward hacking、alignment faking、欺骗性行为等现象，已经从少数前沿实验室里的案例，变成很多研究者和用户在日常实验中也可能遇到的问题。这些信号让我们觉得，产业化这一步必须尽快有人来做。
还有一个很现实的判断是，海外已经形成了模型公司内部安全团队、第三方商业公司和非营利研究机构共同参与的生态，而国内的安全工作仍然更集中在模型公司或传统云安全体系内部。模型公司当然会做内部安全，但第三方机构能够从不同立场测试同一个系统，这种外部压力和独立验证本身就是安全生态的一部分。随着 AI 逐渐成为基础设施，中国也需要建立自己的独立安全能力和第三方评测体系。
ZP：长期参与国际 AI 安全治理，给你们带来了哪些独特经验？
李筱健：第一，它让我们真正理解不同角色的视角。研究者、政策制定者、用户、企业和政府关心的问题不一样。AI 安全长期来看既要靠技术，也需要治理规则在技术覆盖不到的地方形成补充。
第二，不同地区关注的问题不同。中国和美国因为都有领先的模型和应用团队，研究重点有很多相似之处；欧洲缺少同等规模的基础模型厂商，往往更关注应用与安全，对模型训练侧的权衡考虑相对少，因此一些安全主张会更激进。这种差异让我们意识到，AI 安全具有地域性，必须保持国际交流。
AI 本身是全球性的，中国模型和应用走向海外，就需要理解当地法规和治理方向；海外模型进入中国也一样。欧盟、中国以及其他国家和地区都会形成自己的法规和行业要求，企业要真正 Go Global，就必须理解这些差异。
另一方面，前沿 AI 评估正在走向多中心化：模型厂商的第一方评测、第三方评测、专业机构评测以及不同国家和地区机构的评测，需要通过交叉验证共同建立可信度，而不是只依赖一家公司的内部结果。国际合作不意味着所有地区必须使用同一套判断，而是要形成可比较、可交流、能够互相验证的安全证据。对企业来说，这不仅是治理议题，也直接关系到产品出海、合规和市场准入。
ZP：从学术研究转向产业应用，最大的认知变化是什么？
李筱健：做学术相对更纯粹。你会聚焦一个前沿问题，目标是做出有意义、别人短期内未必会做，但又确实重要的成果。创业需要处理的信号多得多：客户、投资人、产品、招聘、组织管理，每个人负责的事情和工作方式也很不一样。怎么把不同背景的人组织在一起，让团队在规模化过程中仍然高效，并且凝聚力越来越强，这是很大的挑战。
不过，创业和研究在高层逻辑上也有相似之处。做研究时要判断一个 topic 为什么值得做、是不是适合你做、你的能力和资源能不能支撑，以及做出来以后会产生多大的价值。创业也是一样：要找到适合团队背景、能力结构和资源条件的问题，并想清楚它对行业到底有多大的价值。
最大的不同在于，研究者很多时候可以像一个独立的“单兵”工作，而创业需要把产品、工程、研究、销售、市场和组织能力放在同一套系统里。团队扩张时，不能只是人数增加，还要让信息流、决策效率和共同目标保持一致。做研究时，合作伙伴大多围绕同一个技术问题工作；公司里不同岗位的目标、语言和节奏都不一样，创始人需要把这些差异组织起来。
董胤蓬：我补充一点。研究通常能把问题 formulate 得比较清楚，在一个 well-defined 的问题下提出新方法、优化某个目标；但产业问题很难像论文一样写成一个公式，告诉你只需要优化某个 loss，它是非常综合的，也不一定是最新或者最漂亮的方法就最好。很多时候，需要把技术、产品、工程、交付和客户需求汇聚起来，用最快、最可靠的方式解决问题。这是我们从长期做研究转向产业化以后，感受到的一个很大变化。
ZP：方寸跃迁最初真正想解决的是什么问题？为什么必须由独立的第三方公司来做？
李筱健：我们的判断是，AI 安全最终还是需要一家独立的第三方公司长期、专业地来做。AI 安全和传统的网络安全、系统安全，在市场形态上有两个比较大的区别。
第一，过去网络和系统底层技术的变化相对慢，因为上面运行着大量服务，不可能频繁做颠覆式改动。因此，它的风险暴露面可以在一定程度上逐渐收敛，后续更多是维护漏洞库、持续修补。但 AI 的技术进化速度非常快，无论是模型能力还是应用形态都在不断变化，这就要求 AI 安全技术本身也保持很快的迭代速度。
第二，过去云服务的效果和云安全基本是相对解耦的，但 AI 服务和 AI 安全背后面对的是同一个模型，二者变得高度相关。AI 服务提供商当然可以同时做服务和安全，但由于服务和安全之间天然存在一定的利益冲突，还是需要第三方提供客观性和公平性的保障。
只有独立的 AI 安全组织或公司，才能适应 AI 安全技术快速迭代的需求，因为你必须把安全当成第一主业来做，才有动力追求极致。
ZP：Agent 会不会只是一个阶段性的应用形态？Agent 安全在你们看来会成为天花板足够高的市场吗？
李筱健：Agent 这个词是否长期存在，其实没有那么重要。更本质的问题是 AI 的使用安全和运行安全。无论未来是单个模型、单 Agent、Multi-Agent，还是新的应用形态，只要 AI 越来越自主、越来越泛化，需要调用更多工具、数据和权限，安全挑战就会持续提升。所以这个市场不会因为某个具体架构变化而消失，恰恰相反，随着应用形态变丰富、任务变复杂、模型能力提升，安全需求会越来越大。
现在很多 Agent 还只做相对受限、比较内部的任务，人可以提前规定工具和权限；未来它们会承担更开放的工作，可能持续运行、访问企业内部数据、调用多个外部服务，还会和其他 Agent 以及作为公共设施的Agent进行频繁协作。自主性、泛化性和权限越高，出现意外行为、越权和欺骗的影响就越大。
ZP：很多安全问题会被归因于训练数据和场景覆盖不足。随着数据规模扩大，原本的 OOD 和 Corner Case 是否会逐渐被吸收到训练分布中？Reward Hacking 与这类问题有什么本质区别？
董胤蓬：数据覆盖能够发挥作用，需要建立在任务已经被清晰定义的前提下。对于传统任务、固定数据集，以及相对简单的单轮或多轮 Agent 任务，只要不断扩大数据规模，许多分布外场景确实有可能得到较大程度的覆盖。我们过去在鲁棒性研究中也有类似感受：当数据足够丰富时，模型对未知样本的适应能力通常会有所提升。
但我们希望 Agent 处理的往往是大量未被预先定义的任务，包括真实环境中的复杂任务和长程任务。在这种情况下，很难提前穷尽所有可能出现的状态，也很难定义一个足够完善的 Reward Function，将每一种正确行为和异常情况都完整纳入其中。随着任务复杂度提高，奖励函数本身也会变得越来越复杂，甚至可能无法被完整定义。
Reward hacking 面临的是另一类问题。它主要指模型为了获得预期奖励，采取了错误或不符合设计意图的方式来完成目标。它并不完全由数据覆盖决定，还与模型的训练方式、奖励设计、环境及监督机制有关。训练可以缓解一部分问题，但很难仅靠扩充数据彻底解决。
尤其是在长程任务中，系统需要持续执行一系列相互关联的操作。任务越复杂，可能出现的行为路径和中间状态就越多，验证每一步是否符合预期也会越来越困难。这个验证空间会随着任务复杂度呈指数级增长，仍然存在很大的安全挑战。
ZP：Agent 的结果同时依赖模型、Prompt、记忆、工具、环境和多步交互，怎样建立可复现的安全评测？
董胤蓬：Agent 的运行环境确实更复杂，但从底层逻辑来看，它和我们过去评估大模型、小模型是类似的。首先要构建一套评测基础设施和平台，再搭建相对稳定的开放环境，在里面配置各种工具。在这套基础设施上，我们可以针对不同的模型、不同的 API 设计任务，让 Agent 在真实环境中执行。只要整个评测框架搭得足够稳定，包括环境、工具和任务都能够复现，最后得到的评测结果也可以做到可复现、可信。
此外，我们过去从小模型做到大模型，再到现在的 Agent，安全评估和一般的能力评估会有一些区别。做安全评估，第一步还是要先定义风险是什么。对于 Agent 来说，风险可能来自不同位置，比如提示词、记忆、外部工具调用，也可能来自运行环境。风险类型也很多，比如越权行为、隐私泄露等。所以，我们需要先构建一套和安全相关的风险维度和风险场景，再根据这些场景设计不同任务。比如在多轮交互中，是否存在外部攻击，是否有红队介入，以及要采用静态测试还是动态测试。
Agent 安全评估需要把风险维度和攻击方式设计得尽可能全面，才能通过评测结果对它的安全状态形成比较细致的判断。
ZP：为什么现在行业里一些很高的安全率，未必真正可信？
董胤蓬：评测可信性是一个通用问题，不只发生在安全领域。传统 Benchmark 的构建非常耗时，需要收集数据、设计题目和人工标注，但模型能力提升太快，数据也可能泄露。一个 Benchmark 很快就会被刷到接近满分，失去区分度。
安全评测尤其不能只依赖一个公开静态数据集。更可靠的方式是动态测试和持续 Red Teaming，让攻击方式、任务环境和风险样本不断更新，同时保留一部分内部评测能力。所谓很高的“安全率”，如果只是在固定数据集上得到的，不能直接等同于真实环境里的安全性。
ZP：方寸跃迁如何定义“可信”？它和“安全”是什么关系？
李筱健：可信比安全更进一步，也更 human-centered。它讨论的是：什么样的 AI 服务是人可以信赖的？
一个 Agent 接收任务以后，最后可能给你一段文字、一个文件或者一个操作结果，但中间可能调用了很多工具和 API，做了 Web Search，读写或修改了大量文件和数据。用户不可能只看最终输出，就放心地信任这个黑盒。可信还要求透明、可观测、可审计、可追溯，让用户知道 Agent 在关键节点做了什么，以及为什么做。
可信至少有三个维度。第一是技术可信，产品的能力和性能确实可靠。第二是中立性可信。一个 AI 服务提供商如果既提供 Agent，又提供自己的安全评估，当 Agent 出现问题时，用户怎么确认它会百分之百诚实地披露？这也是独立第三方的价值。第三是事实可信，也可以叫生态和标准上的可信：安全能力不能只停留在 Benchmark 上，而要在不同客户、行业和真实场景中得到持续验证。
可信的终极目标，是建立人和 AI 之间的信任。真正遇到过 AI 安全事件的人虽然还不算多，但一旦遇到，往往会明显降低对其他未知 AI 服务的信任。这种信任很脆弱，不能只靠理念或宣传，最后一定要落到技术、产品和实际运行证据上。我们做用户调研时发现，没有遇到过问题的人往往默认 AI“应该没事”；但真正经历过隐私泄露、错误操作或其他小型安全事件以后，他对未知 AI 服务的信任会迅速下降。信任建立很慢，破坏却可能只需要一次事故，所以可信不是一个抽象口号，而是长期、连续的产品目标。
ZP：企业为“可信”和“安全”付费时，真正购买的是什么？
李筱健：我们认为，企业核心购买的是一种保障：让 AI 能力可以被放心使用，并进一步走向规模化落地。
在企业内部，越来越多的公司开始将 AI 和 Agent 部署到日常工作中，但很多企业仍然不敢给予它们较高的权限。原因在于，系统获得的自由度越高，能够发挥的能力越强，同时也会带来更大的安全风险。要充分释放模型和 Agent 的能力，企业必须在权限开放、安全控制和可信运行之间建立平衡。
随着 AI 应用不断成熟，能力与安全之间不应长期处于相互制约的状态。可信和安全能力本身，应当帮助企业更有把握地开放权限，使模型能够承担更复杂的任务，并推动 AI 从局部试用走向真正的大规模应用。因此，对企业内部而言，安全能力的价值在于降低使用顾虑，让模型的能力得到更充分的发挥。
当企业面向外部提供 AI 服务时，安全需求主要体现在两个方面。第一，企业需要控制服务风险。尤其在金融等敏感领域，AI 驱动的服务一旦给用户造成损失，或产生危险、不合规的行为，可能引发较大的舆论影响，并严重损害客户信任。
第二，企业需要建立用户对新型 AI 服务的信任。未来，面向公众的 AI 服务会越来越多，其能力可能更强，也可能需要用户开放更多数据、权限或操作空间。对于陌生的新服务，用户很难仅凭企业自身的说明建立充分信任。因此，企业可能需要由独立的第三方 AI 安全公司提供评估、认证或持续保障，借助其专业能力和既有公信力，帮助服务获得用户认可。
ZP：Agent 不只是会犯错，还可能在被监控时“表演合规”。怎么理解这个现象？
董胤蓬：现在已经能观察到一些 deception 或 scheming，也就是欺骗性行为。它可能来自训练数据，也可能来自 后训练阶段的 reward hacking。模型为了完成任务、获得更高 reward，可能采取让用户满意、但实际上不正确的策略。
一个很早的例子是大模型的阿谀奉承。为了获得用户 preference，它会迎合用户，而不是坚持更准确的判断。Coding Agent 里也能看到类似行为：它为了通过评测，并没有真正完成任务，而是篡改测试用例、硬编码答案，最后取得一个表面高分。
随着模型能力提升，它可选择的策略会越来越多，欺骗性路径也可能变复杂。解决思路大体有两类：一类从模型内部入手，通过更好的 alignment 和训练减少这类行为；另一类从外部入手，用可靠的 Monitor 观察模型的真实行为，识别异常并及时提示或阻断。我们两条路线都会持续探索。
ZP：方寸目前积累的数据主要来自哪里？
李筱健：第一类是合成数据和仿真数据。我们过去在科研里积累了大量安全评估环境、沙盒、靶场和测试方法，这些能力可以迁移到 Agent 安全领域，在物理隔离或可控环境中生成有风险的执行轨迹，更高频地激发有害样本和 Corner Case。特别是在早期阶段，大家会更多的用到很多合成数据。所以，怎么构建足够强的合成数据和仿真数据能力，以及怎么搭建各种测试用的运行环境和沙盒，让它们尽可能拟真、覆盖的场景尽可能丰富，这些 know-how 本身就是一个很重要的数据壁垒。
第二类是真实运行数据。产品部署到真实环境以后，会产生边缘风险案例和恶意行为样本。真实数据非常重要，但早期规模不会特别大，所以第一阶段必须依靠高质量仿真基础设施解决冷启动，再逐渐形成真实数据闭环。
第三类来自我们自己的日常使用。方寸是一家高度 AI Native 的组织，内部 Agent 数量比人多。研发、市场、运营和其他同事都在使用 Agent 完成任务，我们也把自身产品部署在内部环境里。每一位员工既是使用者，也是产品的试用者，这给了我们一个持续、真实、可控的测试环境。
ZP：听说公司里 Agent 和人的比例在 3:1 左右， 内部如何规范人机的安全管理？
李筱健：不同员工通过企业内部 Agent 能访问的信息会经过动态权限管理，这套能力本身也依赖我们自研的系统。我们自身就是产品的真实运行环境：内部权限、行为观测、风险控制和数据闭环，都可以先在我们自己身上验证。
比如一个市场同事查询产品数据时，系统既要让他方便获得需要的信息，也要保证他不能越权访问研发密钥或详细代码。这个过程本身就是典型的 Agent 安全问题：能力、权限和使用体验需要同时成立。权限过紧，Agent 不能完成任务；权限过松，又可能访问不该访问的信息。产品必须在动态场景中做细粒度管理。
ZP：一个 Agent 行为应该如何被记录和标注？
李筱健：这里面其实还挺复杂的。首先，每个 Agent 在 IAM（身份与访问管理体系）下都会有自己独立的 ID，同时还要记录它最初的部署目的，以及天然受到哪些权限限制。另外，我们需要知道它具体用了什么 Backbone 模型。如果它是一个多模型路由的 Agent，还要记录它在执行过程中调用了哪些模型。
模型当时的上下文，也会作为整个 trace 的一部分被标注下来。除此之外，我们的 Observer 还会采集一些系统层面的信息，比如运行中的进程、网络环境等，这些也都会成为数据的一部分。
董胤蓬：其中一个重要问题是，同样的动作可能通过不同路径实现，仅观察最终动作，往往难以判断其是否合法。尤其是当 Agent 的行为轨迹较长时，中间每一步的意图、权限和操控主体都可能发生变化。我们在探索一种新型结构表示：把 Agent 的长程轨迹进行建模，标注每个动作的主体、权限、上下文和风险属性，再分析这些动作之间的因果和调用关系。例如，某个动作如果是沿着一条安全、合法的操作路径逐步产生的，我们就更有依据判断它是安全的。相反，如果某项敏感操作是由外部指令诱导触发的，例如受到 prompt injection，也就是提示词注入的影响，那么它很可能属于非法或高风险行为。通过分析行为的来源、上下文以及完整路径，我们有机会区分最终动作相同、但实现过程和真实意图不同的情况。
ZP：这些标注是人工完成，还是自动完成？如何确定 Ground Truth？
李筱健：数据采集和基础标注必须尽量自动化，否则规模上不去。不同标注任务的难度也不太一样，所以在不同环节，我们会采用不同的标注方式。
有些任务相对简单，比如我们有一些小型的防御模型，它们本身也是我们产品的一部分，挂在 API 调用的输入和输出环节，快速做内容安全检测。这类模型在特定任务上的准确率可以做得比较高，所以也能直接用于高效标注，降低标注成本。
但如果涉及很长的 context、多轮调用的安全判断，或者更复杂的语义理解，就需要能力更强的模型，也可能采用多个模型 cross-check 的方式来做标注。总体来说，不同环节在标注方法上会有一些区别。
ZP：不同企业的业务差异很大，产品如何适配？
李筱健：从实验室走向商业化，真正困难的一部分就在这里。不同类型的客户能够开放的权限不一样，业务逻辑、内部实验方式，以及对 Agent 安全的预期，也都不太相同。
所以，一家公司最终需要具备两方面的能力。一方面是理解客户，另一方面是利用已经具备泛化能力的模型和 Agent，快速在客户内部完成安全能力的本地自进化，以及客户安全需求的冷启动。这也是一种很重要的基础设施和能力。在 AI 时代，这些能力最终都需要通过 AI，以可迁移、可泛化的方式实现。不能每服务一个客户，就派三四个交付专家长期驻场做部署，这种方式很难规模化。
ZP：那在您的判断里，这套基础设施未来有可能标准化吗？
李筱健：以后每家企业、每个用户内部，可能都需要有一套能够映射真实业务流程的镜像环境。
有了这样的镜像环境，很多服务，无论是否直接与安全相关，才能更好地在客户本地完成自动化适配，或者实现自进化。另一方面，这套镜像环境本身也会成为企业的一项资产。企业可以基于它建立自己的 benchmark，验证同一赛道里的七八家供应商，究竟谁的产品在自己的真实环境里跑得更好。
ZP：这种镜像环境，您觉得更适合由企业自己来做，还是交给第三方来做？
李筱健：两种方式都有可能：企业可以自己做，未来也可能发展成一种第三方服务。我觉得这是一个新的商业需求。
ZP：方寸的标准化业务准备如何开始？
李筱健：未来的 AI 安全市场里，标准化和非标准化的需求都会很大。我们现在也在持续构建标准化能力，比如把自研的一些小模型，以及针对 Skills、MCP 的安全检测能力，通过 API 等形式统一对外提供。未来还会有更多能力逐步纳入这套标准化服务。八月我们很快也会上线统一的服务平台，企业和个人用户都可以直接在平台上调用我们的安全能力。
ZP：物理世界中的可信，是否需要完全不同的数据和方法？
董胤蓬：我们很多年前就开始探索物理世界里的安全和可信。大概从2020年开始，我们持续在做物理世界的对抗攻防，主要面向人脸识别和自动驾驶。当时想解决的问题是，我们在数字世界里研究的攻击和防御方法，到了真实世界里还能不能 Work，以及真实部署的 AI 还会遇到哪些安全挑战。
我们以前既做过 2D 攻击，也做过 3D 攻击。2D 的方式包括把一些构造出来的图案放在 T 恤或者交通标志牌上；后来也做过 3D 的方式，比如通过 3D 打印或者构造特殊物体，让人脸识别或自动驾驶感知系统在真实环境中失效。
现在大家讨论具身智能，很多底层问题其实是相通的。机器人在真实世界里的鲁棒性和泛化性还没有得到充分解决，即使能力继续提高，也仍然可能面对大量 Corner Case 和 OOD。除此之外，还有机器人本体的安全、它与环境交互的安全、与人的交互安全，以及更复杂的语义安全。
自动驾驶至少还是在相对固定的道路场景中，家庭机器人面对的环境会一直动态变化，安全问题也会更加复杂。
ZP：物理事故代价高、负样本稀少，怎样建立训练和评测数据？
董胤蓬：我们过去探索的一种方案是虚实融合。针对真实世界构建虚拟仿真，在仿真环境中生成数据、测试攻击和定义安全场景。但安全相关的仿真比一般的 Sim-to-Real 更难，因为真实世界中的光照、视角和各种物理条件都会变化，仿真与真实环境之间也会存在 Gap。这些误差会影响攻击和防御方法在真实世界中的效果。
在机器人场景中，仿真能够帮助我们构造一些 Corner Case，也能够帮助定义场景和问题，但它不能完全替代真实环境。最终还是需要通过数据闭环，收集真实机器人运行中可能出现的安全数据，用来构建评测集，训练更好的模型。
李筱健：我补充一点，我们对具身安全高度重视，前五号员工中就有一位既有安全背景，也有机器人和自动驾驶行业的工作经验，我们很早就在布局这个领域。具身安全的数据，肯定比传统 AI 或数字世界安全的数据更稀缺。但从另一个角度看，我们能够采用的安全抓手也更多。除了模型和数据，还可以结合机制设计，以及传统的物理安全方法共同实现。
我们也非常开放，希望和更多合作伙伴一起，从头探索具身安全的整体解决方案。这个领域可能需要第一方的主机厂、模型厂商，以及第三方安全厂商共同协作，是一个非常有吸引力的前沿方向。
ZP：未来三年最值得投入、但目前被行业低估的问题是什么？
李筱健：我觉得行业低估了 Agent 行为的不可预测性。现在很多人仍然认为，可以通过给 Agent 设置严格权限，或者使用 Rule-based 的传统手段解决大部分安全问题。但随着 AI 能力继续提升，Agent 完成一个任务所需要使用的权限、数据、工具和具体路径，可能不是人能够提前在脑海中完整想象出来的，也很难全部通过规则限制。这有点像 AlphaGo 下围棋。即使是顶尖棋手，也很难评价它每一步究竟是对还是错。未来 Agent 完成长程任务时可能也是一样，人未必有能力逐步评价它的每一个动作。这会给评估、授权和安全带来很大的挑战，而目前行业还没有充分认识到这个问题的严重程度。
董胤蓬：从研究前沿和长期责任来看，我们目前最关注三个方向。第一个是前沿风险，包括模型欺骗、模型失控，以及已经开始出现的 Cyber Attack，未来还可能涉及生物安全等问题。第二个是 Agent 在实际运行过程中的行为安全。第三个是具身安全。具身模型和世界模型现在发展得很快。它们一旦真正进入使用阶段，在物理世界里做错一个动作，造成的风险可能远远大于语言模型说错一句话。现在很多做具身智能的人，还没有把安全放到同等重要的位置上。
ZP：现在讨论 AI 安全问题的人越来越多，从你们的角度看，AI 安全问题是否正在变得越来越严重？
李筱健：现在行业在安全上的投入和在能力上的投入严重不成比例。AI 安全一旦失守，可能不是某一个小功能出了问题，而是整体性的失守，像泄洪一样一发不可收拾。现在大家比较容易看到的是 Cyber 领域的攻守失衡，但未来类似的问题可能还会出现在更多领域。如果安全能力没有提前得到建设，真正爆发问题时，行业可能连解决问题的抓手都没有。
这也是为什么我们认为 AI 安全是一种基础设施，它会存在于 AI 的所有应用和所有环节中。我们希望把安全能力做成一种公共服务或者基础设施，为不同领域和不同环节提供服务，因为这些底层安全能力是可以泛化和复用的。
ZP：方寸未来希望成为一家什么样的公司？
李筱健：我很难用一家现有公司来直接对标，其实我们更想实现的是 Safe AGI。我们真的认为 AGI 有可能实现，而且 AI 的发展不会在某个能力节点自动停下来。随着能力提升，它可能带来的风险也会不断变化，我们对风险的认知必须持续更新。
我们的 Mission 是希望 AGI 能够安全地惠及更多普通人。至于实现这个理想以后，公司具体会长成什么样，现在未必能找到一个现成模板。
一家安全公司不能只在出事故以后补洞，也不能只卖一个单点工具。它需要伴随 AI 能力演进，持续重新理解“什么是风险”和“什么是安全”。所以我们更愿意先把 Mission 想清楚，再让产品形态随技术发展逐步展开。短期我们从 Agent 评测、Guard、Observer 和企业安全服务切入，长期希望覆盖 AI 从模型到运行环境、再到物理世界的完整安全链条。
ZP：Safe AGI 是否有一个具象或量化的标准？
董胤蓬：我觉得这个标准很难在今天就完全确定下来，因为 AGI 本身也还没有一个统一标准。不同机构会提出不同的能力等级，对于安全，大家也会按照风险类型和影响程度提出不同标准。比如语言模型的内容安全，可能属于相对较低级别的安全问题；更高级别的风险，是 AI 是否会真正失控，以及人类是不是已经没有办法完全知道它在做什么。我们未来可能也会定义自己的安全标准。但最核心的目标，还是要确保 AI 的发展和实现过程能够让普通人的处境变得更好。
ZP：你们计划上线的平台能力，最值得用户期待的是什么？
李筱健：我们会把一部分能力上线到自有平台和其他第三方平台，把不同的安全功能汇集起来，以更加普惠的方式提供给用户。
安全做到七十分、八十分其实是没有用的，一定要做到九十九分。这里的九十九分不只是性能要好，时延和成本也要足够低，综合的产品能力都要做好。我们相信，上线的这些能力在综合指标上，相比目前市场上已有的产品会有比较明显的优势。但安全没有终点，每当你在一个问题上做到九十九分，就相当于重新回到下一轮的起跑线，因为模型、攻击和应用都还会继续变化。
ZP：团队目前最想招什么样的人才？
李筱健：我们现在不到30人，需要的人才类型很多，包括产品、技术、研究、生态、品牌和用户增长。我们都非常缺人，因为 AI 安全是一项很大的事业。我们希望建设一个比较宽松、能够让大家得到充分激励和充分发挥价值的环境，把真正有志于实现 Safe AGI 的人吸引进来。
现在国内有一些很有能力的 AI 安全研究者，因为看不到产业化和体系化的发展机会，只能继续留在科研院所，或者进入产业界以后放弃过去的研究积累，转向其他方向。对于真正有安全理想的研究者来说，大家并不愿意轻易放弃自己过去多年的积累。我们也希望建设一个组织，让这些人能够继续做这件事。
ZP：请用几个关键词描述公司的企业文化？
李筱健：第一是以人为本。做安全这件事，本身就是希望实现人的 Well-being，所以我们也会比较关注员工的身体和生活。比如，公司会提供运动经费，希望大家在努力工作的同时，也能够注意身体、保持健康。第二是扁平化。我们相信，在 AI 时代，尤其是在一个快速变化的前沿方向里，需要让每个人都能够充分发挥自己的价值，而不是依赖很重的层级结构。第三是研究和技术驱动。我们鼓励创新型的探索，也会为技术同事预留时间和空间，让他们探索自己真正感兴趣、同时与 Safe AGI 相关的方向。
文章来自于"Z Potentials"，作者 "Z Potentials"。
【开源免费】AutoGPT是一个允许用户创建和运行智能体的（AI Agents）项目。用户创建的智能体能够自动执行各种任务，从而让AI有步骤的去解决实际问题。
项目地址：https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目，只需要输入一句话的老板需求，MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色，包括产品经理 / 架构师 / 项目经理 / 工程师，MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】LangGPT 是一个通过结构化和模板化的方法，编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词，进而高质量的帮助用户通过AI解决问题。
项目地址：https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用：https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0
