Sakana让AI互相「猎杀」，而它们开始了趋同进化

想象一下，一群 AI 程序在一台虚拟计算机里相互猎杀，目标只有一个：生存。

这正是 Sakana AI 与 MIT 合作的最新研究：Digital Red Queen（DRQ）。

他们重拾了 1984 年的经典编程游戏《Core War》，利用大模型驱动了一场跨越维度的「军备竞赛」。

在这里，没有预设的标准答案，只有不断进化的对手。简单来说，他们提出了一种自演化汇编代码的方法。该方法通过在《Core War》中不断战斗来迭代代码演化。与静态优化目标不同，通过训练新「战士」对抗不断变化的对手，可以生成既健壮又通用的「战士」。

这种「自博弈」模式产生出的汇编代码，不仅展现出了惊人的复杂性，更揭示了人工生命中一种有趣的现象：趋同进化。

• 论文地址：https://arxiv.org/abs/2601.03335
• 代码地址：https://github.com/SakanaAI/drq/
• 博客地址：https://sakana.ai/drq/

《Core War》 是一款诞生于 1984 年的竞技编程游戏，在这款游戏中，被称为「战士」（warriors）的程序在一个虚拟计算机中争夺控制权。参赛者需要使用一种名为 Redcode 的专用汇编语言来编写程序。

在这项研究中，Sakana 探索了一个全新设定：当 LLM 驱动这个游戏时，会发生什么？

不同于静态评测基准，他们构建了一个动态的对抗演化环境，在其中程序不断适应、进化，以击败逐渐累积的对手历史，而非一组固定敌人。然后发现：

• 这一动态对抗过程促使模型产生了越来越通用的策略；
• 不同的程序实现最终会趋向于相似的高性能行为模式，展现出类似趋同进化（convergent evolution）的现象；
• 整体演化过程符合红皇后动态（Red Queen dynamics），即各个智能体不断适应彼此，持续进化但始终处于竞争状态。

最终，本研究将《Core War》定位为一个用于研究人工系统中红皇后（Red Queen）动力学的实验沙盒，为分析 AI 智能体在现实世界对抗性环境（例如网络安全）中的演化方式，提供了一个安全且可控的研究环境。

由 DRQ 生成的两个「战士」程序：Ring Warrior Enhanced v9 和 Spiral Bomber Optimized v22。选取这两个示例是为了展示 DRQ 的两个互补特性：其在单个程序中合成质量上截然不同的策略的能力，以及其生成整体表现良好的「战士」程序的能力。请注意，注释部分由大语言模型生成。

在一个隔离的《Core War》沙盒环境中模拟，演化得到的「战士」程序。用户可以交互式地查看鼠标光标所在位置附近的「战士」汇编语言代码（Redcode）。

「战士」程序相互竞争

争夺一台虚拟机的控制权

人类是一场非凡的进化军备竞赛的产物，在与其他生物体持续不断的竞争中被塑造而成。然而，进化并没有停止：竞争仍然在各个层面持续存在，从病毒与细菌，到人类个体、公司之间多方面展开博弈。

随着越来越多的人工智能系统被部署到现实世界中，它们也将不可避免地进入这一竞争格局。这些 AI 系统将以直接或间接的方式相互竞争，从而引发一种全新的演化动态。

为了为这样的未来做好准备，并研究其中演化过程，Sakana 使用 LLM 来演化一组程序，让它们在《Core War》的游戏中相互竞争，这些竞争者的任务是在尽可能长的时间里保持自身进程活跃的同时，尝试使对手程序崩溃，从而取得对一台虚拟计算机的控制权。

整个模拟过程通过交替执行各个程序中的一条指令来运行。一个「战士」可以通过向对手占据的内存位置写入非法指令（如 DAT 命令）来发起攻击，一旦对手程序执行到该位置就会崩溃。

在《Core War》中相互对战的已发现「战士」示例。在本研究中，Sakana 使用 LLM，通过 Digital Red Queen 的自博弈算法来演化「战士」。这一过程促使出现了多种多样且复杂的策略，包括定向轰炸、自我复制以及大规模多线程。在这里，本文展示了一些被发现的「战士」在《Core War》对战中的表现。图中符号表示指令操作码，颜色表示最后一次修改每个内存地址的「战士」。代码和数据之间没有区分，使得该环境高度动态且不稳定。

值得注意的是，在《Core War》中，代码和数据之间没有界限，因此「战士」程序会在运行过程中频繁地修改自己和对手的代码。

这使得自我修改甚至自我复制成为可能，但也造就了一个极度不稳定的环境，程序必须在这种条件下设法生存下来。

此外，《Core War》是图灵完备的，也就是说，从理论上它可以支持任意复杂的策略。

多年来，人类玩家在《Core War》中设计出了许多巧妙的策略，比如：

• 向随机内存位置投放炸弹；
• 编写可自我复制的程序；
• 不断扫描内存，侦测对手位置并发起攻击。

这些策略的诞生，实际上是一场由人类主导的元军备竞赛，玩家不断尝试新策略，测试哪些能奏效、哪些不行。

那么，如果我们让 LLM 也参与这样一场军备竞赛，会发生什么？

新提出的方法：数字红皇后（DRQ）

在进化生物学领域，「红皇后假说（Red Queen Hypothesis）」认为物种必须不断进化，仅仅是为了在千变万化的竞争对手面前生存。

该假说指出，仅仅适应当前环境是不够的。相反，生物必须持续进化 —— 不是为了获得优势，而仅仅是为了在这个变幻莫测的世界中维持相对的适应度。

这个概念完美捕捉了对抗性军备竞赛的本质：即「适应」永远不是一种永久状态。

这个名字源于《爱丽丝镜中奇遇记》，红皇后对爱丽丝说：

「在这个国度，你必须拼命奔跑，才能留在原地。」

受生物学启发，Sakana 构建了一种名为数字红皇后（DRQ）的简单算法，它在计算环境中体现了这一思想。

DRQ 利用 LLM 来在持续的环境变化中让「战士」进化。

具体来说：它从一个初始战士开始，然后进化出第二个战士来击败第一个。接着，再进化出第三个战士，使其在对抗前两个战士时表现出色，以此类推。这一过程产生了一个战士世系，其中每个后代都适应于由其所有前代定义的不断变化的环境。

Sakana 表示：「DRQ 本身并非旨在成为一种全新的算法。相反，它是先前多智能体和自博弈方法的最小化实现。它被适配到《Core War》领域，旨在隔离并研究持续协同进化（coevolution）的动态。」

结果如何？

研究发现，随着 DRQ 运行轮次的增加，战士们逐渐变得更具通用稳健性（这一指标通过与未见过的、由人类设计的战士对抗来衡量）。

这提供了一种稳定且持续生产稳健程序的途径，而无需进行「在测试集上训练」（即直接针对大量人类设计的程序进行优化）。

更令人惊讶的是，实验中还观察到独立运行的多个 DRQ 实验（每个实验都从不同的战士开始初始化）会随时间推移，慢慢趋向于演化出具有相似行为的战士。值得注意的是，这种趋同并没有发生在源代码层面，这表明趋同的是「功能」而非「实现」。

DRQ 的趋同进化：随着轮次增加，DRQ 产生的战士具有更强的通用稳健性。同时，不同独立运行的 DRQ 实验之间，战士行为的差异在减小，表明出现了趋同。

表型趋同（Phenotypic Convergence）：轮次增加带来的趋同仅体现在战士的「表型」（行为）上，而非「基因型」（源代码）。这类似于生物学中功能上的趋同，而非 DNA 的趋同。

这一结果让人联想到生物学中的趋同进化 —— 即相似的功能特征通过不同的机制独立进化了多次。

例如，鸟类和蝙蝠各自独立进化出了翅膀；蜘蛛和蛇独立进化出了毒液。

在这些案例中，由于环境变化施加的功能需求倾向于这些解决方案，进化最终达成了相似的通用目的。

讨论

「红皇后（Red Queen）」动态及其引发的趋同进化现象在自然界中普遍存在，这表明 DRQ 算法和 Core War 领域的结合，可能为研究对抗性军备竞赛其他特性提供了一个极具潜力的实验环境。通过模拟得到的宏观洞察，可以帮助我们预测 LLM 在现实世界中的军备竞赛将如何展开与演变。像 DRQ 这样的算法，甚至有助于在系统部署到现实世界之前，实现自动化的红队测试（red-teaming）。

在《Core War》这样的沙盒中进行此类研究的好处是，它完全自成体系：所有程序都在一台使用人造语言的虚拟机器上运行，因此生成的任何内容都无法在沙盒外执行。这提供了一个安全的环境，可以探索那些在现实世界中进行可能具有风险的对抗性动态。

在沙盒化的《Core War》环境中，可以模拟进化出来的「战士」程序，并将它们的行为可视化。用户可以交互式地可视化这些「战士」的汇编语言（Redcode），并通过鼠标光标所在的位置进行查看。

尽管基础版 DRQ 算法本身较为简单，但它在《Core War》中表现出乎意料得好，这表明：即便是最简单的自对弈循环，也能揭示出复杂且鲁棒的策略。这使得 DRQ 成为探索其他竞争性多智能体仿真（如人工生命、生物学、药物设计、现实世界网络安全或市场生态系统）的有力候选方案。

未来的工作还可以探索更丰富的设置，让多个智能体能够同时共进化，从而更好地模拟现实世界 —— 在那里，大规模种群是并行适应的，而不是沿着单一的演化线发展。最终，所获得的洞察将有助于更好地掌握未来，并帮助我们理解这些进化性军备竞赛背后的科学原理。

更多信息，可查看原论文获悉！

文章来自于“机器之心”，作者 “机器之心编辑部”。