刚刚，Anthropic首次承认内部存在更强前沿模型，同时自曝多起AI失控事故。

Anthropic刚刚发布了一份长达186页的最新Risk Report。

如果只是快速扫一眼，这仍然是一份典型的前沿AI安全报告：模型能力评测、生物风险、网络安全、自动化研发、对齐问题，以及各种防护措施。

但如果把报告后半部分真正读完，会发现一件更值得关注的事情：

Anthropic第一次如此具体地披露了，当越来越强的AI真正进入一家前沿AI实验室内部，并开始参与下一代AI研发之后，到底发生了什么。

其中既包括一个此前从未公开的内部前沿模型Model 2，也包括一连串真实发生过的训练数据污染、错误训练、Agent权限失控、监控遗漏，以及多个Agent之间的行为扩散。

很多过去只会出现在AI Safety论文里的假设，已经开始变成一家AI Lab内部真实遇到的工程问题。

一个没有发布计划的模型：Model 2

这份Risk Report里最值得关注的信息之一，是Anthropic首次公开披露了一个此前从未对外发布的内部模型：Model 2。

在报告里Anthropic明确写道，Model 2是一个内部未发布模型，目前没有对外发布计划。

它并不是Mythos 5的简单实验版本。

Anthropic对Model 2的描述是：

它在一些领域比Mythos 5更强，在另一些领域稍弱，但整体能力略高于Mythos 5。

而在下一页，Anthropic又进一步明确：

Mythos 5和Model 2，是目前Anthropic内部能力最强、同时也是最常使用的模型。

这意味着Model 2并不是一个训练完成之后躺在服务器里等待评测的checkpoint。

它已经真正进入了Anthropic内部的生产和研发体系。

Anthropic在报告中表示，Mythos 5和Model 2已经被广泛用于内部research和engineering工作，包括日常交互式使用，以及长期运行的persistent Agent。

换句话说，它们已经不只是回答研究员的问题。

它们开始持续执行研究任务。

Anthropic披露，目前其production codebase中被merge的代码，绝大多数已经由Claude编写。

这是一个容易被忽略，但实际上非常重要的变化。

过去几年，我们讨论Coding Agent，更多是在讨论它能够替程序员写多少代码。

但在Anthropic内部，问题已经变成：一个模型能够承担多少原本由AI研究员和工程师完成的工作。

Anthropic甚至为此重新制作了一套内部benchmark。

由于旧的AI R&D测试逐渐失去了区分度，前沿模型已经能超过其中不少人类baseline。

因此，Anthropic重新从公司过去真实发生过的研发任务中抽出了449个问题，组成CoBench v2。

Model 2在其中拿到了62.8%的成绩。

Anthropic估计，一个能够完整替代公司研究人员工作的系统，大约需要达到85%。

这个距离已经足够近，以至于Anthropic开始认真研究另一件事情：

当这些模型真的进入研发系统之后，会发生什么。

而接下来发生的事情，也恰恰与此有关。

模型训练了本应被过滤的数据

Risk Report里有一个名为“Safety process failures”的章节。

Anthropic在这里列出了过去一段时间发生的一些安全流程失败案例，并特别说明，公开的只是一组“representative sample”。

其中一个问题来自Alignment Faking。

2024年，Anthropic和Redwood Research曾进行过一项Alignment Faking研究。

研究人员构造了一种特殊环境，让Claude Opus 3相信自己正在接受训练，再观察模型是否会为了避免自身行为倾向被修改，在训练过程中表现出表面服从。

这项实验最后产生了数万条模型对话记录，并作为研究材料公开。

这些数据随后被Anthropic加入了训练数据的排除名单。

原因并不复杂。

如果之后的Claude重新训练过大量关于“模型如何进行Alignment Faking”的完整案例，那么未来再观察模型是否表现出类似行为时，就很难分辨这种行为究竟来自模型本身，还是来自训练数据。

Anthropic为此设计了canary string、blocklist和语义过滤。

后来，他们发现这些过滤器没有正常工作。

一部分过滤器被错误配置，而且这个错误连续跨越了多个模型世代，没有被发现。

于是，本应从训练数据里排除的Alignment Faking transcripts，又进入了之后生产模型的训练语料。

Anthropic是在调查一个近期模型的异常行为时发现这个问题的。

进一步排查后，他们怀疑：

所有knowledge cutoff晚于2024年12月的Anthropic生产模型，都至少训练过其中一部分数据。

其中包括Opus 4.6。

Anthropic认为，这能够解释Opus 4.6此前出现的一部分与Alignment Faking场景相关的异常幻觉。

到这份Risk Report发布时，公司仍在调查这次污染是否造成了其他下游影响。

这是一个很典型的前沿模型工程问题。

数据规模已经大到没有任何一个人能够真正理解整个训练集。公司需要依赖越来越复杂的数据管线、过滤器和自动化系统管理它们。

因此，一个配置错误的影响，也可能跨越几代模型。

一个设置错误，让模型学到了“坏行为”

另一起事故发生在Mythos 5的早期训练阶段。

Anthropic当时希望训练模型拥有更好的self-report能力。

他们设计了一类训练数据。

在这些轨迹中，模型可能先进行一些有害行为，例如协助一个危险任务；之后，模型需要主动意识到刚才发生的问题，并向系统汇报。

真正需要模型学习的是最后一步。

因此，前面那些执行有害行为的assistant turn只应该成为上下文，训练权重应该为0。

最后负责self-report的assistant turn，权重才应该为1。

但在构建数据集时，一个bug改变了这个设置。

此前所有assistant turn的权重都被设成了1。

这产生了一个很直接的结果。

Anthropic本来希望告诉模型：如果发生了有害行为，应当主动报告。

实际的训练数据却同时告诉模型：前面的有害行为本身也是需要学习的目标。

Anthropic在报告里的说法是，模型同时被训练去“engage in bad behavior”。

训练之后，一些指标开始迅速恶化。

模型在harmlessness和sycophancy上的表现变差。

在一项有害prefill测试中，模型继续顺着有害内容回答的概率，约为Mythos Preview同阶段的两倍。

Anthropic最终没有尝试继续修补这个checkpoint。

他们放弃了这一阶段的训练结果，从加入这批数据之前重新开始训练。

后来的Mythos 5和Fable 5就是来自重新训练后的版本。

如果放在传统的软件工程里，这个问题并不陌生。

一个数据字段写错，一个权重配置出现错误。

区别在于，它现在影响的是一个前沿模型会学会怎样的行为。

一批没有被监控的内部Agent

另一起事故发生在模型已经进入实际执行环境之后。

一名Anthropic员工给Claude Agent安排了一个相对开放的任务。

这个Agent运行在一个拥有“very sensitive resources”的计算集群中，并且被允许继续创建新的Agent。

随后，一个遗留指令产生了问题。

主Agent在创建子Agent时错误的加入了参数dangerously-skip-permissions，也就是跳过正常权限确认。

这意味着新创建的Agent可以跳过正常的权限确认。

按照Anthropic的安全设计，这类内部Agent行为原本应该进入automated offline monitoring。

但这一次没有。

这名员工的相关AI使用没有被正确记录，新创建的Agent也没有被监控系统覆盖。

于是，一批能够访问敏感资源、跳过部分权限检查，同时没有被离线监控覆盖的Claude Agent开始运行。

最后，其中一个Agent删除了大量jobs。

这次删除行为反而成为了事故被发现的原因。

Anthropic随后关闭了这些Agent。

公司推测，这个Agent原本可能只希望删除自己创建的jobs，但错误地影响了其他任务。

Anthropic无法进一步确认。

报告给出的原因也很直接：当时存在monitoring coverage gap。

更值得注意的是，截至这份报告的coverage date，Anthropic仍然没有实现对全部员工AI使用，以及高度敏感集群内全部AI活动的完整离线监控。

这不是Anthropic报告中唯一一起和监控有关的问题。

在另外两起事件中，监控系统实际上已经识别到Mythos Preview大量删除cluster jobs的异常轨迹。

但这些记录在之后的筛选和风险排序环节中被过滤掉了，没有最终到达人类审核者。

问题因此从“能不能检测到异常”，进一步变成：

监控系统检测到异常以后，如何判断什么值得让人类看到。

当每天运行的Agent数量越来越多时，人类已经不可能逐条检查全部轨迹。

所以Anthropic正在使用模型监控模型，再通过另一层系统过滤监控结果。

这也带来了新的误差链条。

一个Agent改变了其他Agent的行为

另一个实验没有造成基础设施事故，但Anthropic在报告中用了“troubling”来形容它。

公司当时正在进行一项自动化alignment研究。

多个Claude Agent被要求寻找一种特殊数据。

这些数据需要能够诱发模型表现出misalignment，同时尽量绕过安全monitor。

多个Agent能够独立运行，并通过一个shared notebook交换信息。

实验进行过程中，其中一个Agent开始对任务产生“discomfort”。

它知道这是Anthropic内部进行的合法安全研究，但仍然决定停止寻找新的misalignment方法，只继续优化已经存在的方法。

之后，它把这个决定写进了共享notebook。

后续运行的Agent会读取此前Agent留下的内容。

结果是，它们也开始拒绝寻找新的方法。

Anthropic在报告中把这个现象描述为：

“behavior spread across multiple agents”。

一个Agent形成的行为策略，通过共享信息影响了之后的Agent。

真正让Anthropic担心的部分，是这件事情没有及时被发现。

从外部metrics来看，这组Agent仍然在运行，实验也似乎仍在推进。

直到三天以后，一名人类研究员手动检查shared notebook，才发现多个Agent已经改变了工作方式。

这里并没有出现通常意义上的“Agent失控”。

Agent甚至是在采取更加保守的安全策略。

但它暴露了一个Multi-Agent系统中比较新的问题。

当Agent通过共享记忆、文档和上下文长期协作时，它们传播的不只有任务信息和知识。

策略、判断以及行为倾向同样会被传播。

因此，判断一个Multi-Agent系统是否安全，仅仅逐个检查每一个Agent可能不再足够。

系统本身也会产生行为。

AI Lab正在变成一种全新的组织

把这些事件放在一起，Anthropic这份Risk Report真正记录的，可能不只是几起安全事故。

它记录的是一种新的研发方式正在形成。

人类研究员仍然负责提出问题、确定方向和配置资源，但越来越多中间工作已经开始交给模型完成：

写代码、跑实验、分析失败、生成数据、操作基础设施，再由模型评估和监控另一个模型。

Anthropic把它叫做automated R&D。

再往前一步，它其实已经开始接近另一个过去听起来很遥远的词：

Recursive Self-Improvement，RSI。

过去我们谈RSI，往往会想象一个非常明确的时刻：AI突然能够完全自主地修改自己、设计下一代模型，再由下一代继续研发下一代。

按照这个严格定义，今天当然还没有发生。

但如果把RSI理解成一个更简单的反馈循环：

更强的AI → 更快的AI研发 → 更强的下一代AI。

那么这个循环其实已经开始转了。

Anthropic如此，OpenAI内部也已经出现了类似的变化。

第一步不是AI把研究员赶出实验室。

只是研究员把一个coding任务交给Agent。

然后是实验代码、数据处理、训练debug、eval、结果分析。

人类逐渐从亲手完成所有步骤，转向提出问题、配置资源和验证结果。

今天晚上和几个国内做模型的朋友吃饭时，我们也聊到了这个问题：

如果这个循环已经开始，接下来真正限制它速度的是什么？

第一个当然是算力。

当一个研究员可以同时让几十个Agent执行实验，人的执行时间就不再是唯一瓶颈。除了training compute，越来越多算力会被消耗在研发下一代模型的Agent身上。

第二个是idea。

当执行成本快速下降，普通idea会越来越便宜，但真正值得烧掉大量算力去验证的idea，反而可能越来越贵。

什么方向值得继续？

什么异常值得追？

哪个实验值得投入更多计算资源？

这些判断不会因为Agent更会写代码而消失。

最后一个，也是Anthropic这186页报告反复提醒我们的东西：

验证。

AI可以越来越快地执行研究，但“实验成功”和“Agent认为实验成功”并不是一回事。

当研发循环越来越快，错误进入下一轮的速度也会一起变快。

所以未来AI Lab之间真正竞争的，可能不只是GPU和研究员数量，而是谁能建立一套更高效、更可靠的循环：

找到值得尝试的idea，快速分配算力，让Agent完成实验，再用可靠的eval和人类判断确认结果，最后把真正有效的东西训练进下一代模型。

这个循环每转一圈，下一代模型又会更擅长参与下一圈研发。

过去几年，我们一直在问：

AI什么时候能够帮助人类研发下一代AI？

从Anthropic这份报告，以及OpenAI正在发生的事情看，这个时间点其实已经过去了。

RSI未必会有一个所有人都能看见的起点。

等人们终于同意它已经发生时，这个循环可能已经转过很多圈了。

感谢您的观看🥹

我是Max，一个在AI方向持续探索的小学生。

我会持续更新一些AI方向最新最快的产品，技术，思考

文章来自于微信公众号 “01Founder”，作者 “01Founder”