解锁Agent Swarm新潜力，openJiuwen又一力作：多智能体流网络

多智能体协作对于解决复杂问题虽然具有巨大优势，但是其架构本质上易出现错误传播，因为由不正确的工作流生成或单智能体幻觉输出引起的错误会沿着协作链蔓延，影响最终结果。

从 CAMEL、AutoGen、MetaGPT 等依赖人工配置的多智能体框架，到 ADAS、AFlow、AgentSquare、AgentSwift 等自动化工作流生成系统，多智能体技术正在从 “人工设计” 迈向 “自主优化”。然而，现有方法大多基于启发式策略搜索，其性能上限往往受到搜索策略与规则设计的限制。如何让智能体能够自主发现更优协作模式，仍然是推动多智能体系统迈向更高智能水平的关键挑战。

为此，openJiuwen 研究人员提出了 MANGO（Multi-Agent Network Gradient Optimization）框架。其方法设计归属于华为 JiuwenSwarm  的研究范畴。在 AgentOS 统一执行与调度底座支撑下，该框架一体化建模多智能体系统结构、任务分解与路径选择，实现端到端协作优化，并在整体工作流层面对协作路径与执行策略进行联合优化，从而提升系统稳定性与效率。

核心特征包括：端到端的强化学习优化保证全局目标达成，文本梯度更新使局部节点能灵活适应动态任务，以及节点跳跃机制在保持准确性的同时显著降低计算开销。这种集成设计体现了在复杂任务中多智能体协作的工程化思想，为提升协作效率和系统稳定性提供了可行方案。

• 论文标题：Reinforced Collaboration in Multi-Agent Flow Networks
• 作者信息：Zheng Wang, Yuang Liu, Yangkai Ding
• 作者单位：华为泊松实验室、维纳研究所（NWRC）
• 论文链接：https://arxiv.org/abs/2605.12943
• 仓库链接：https://github.com/openJiuwen-ai/agent-store/tree/main/community/mango

核心思路

整体框架采用数据驱动策略，利用历史经验通过过程监督强化学习动态学习工作流结构。同时，局部梯度信号被融入文本梯度进行反向传播，从而实现框架的持续迭代优化。

MANGO 的构建主要包括三个步骤：1）构建流网络，2）基于强化学习选择最优路径，3）利用文本梯度优化节点内的提示词。此外，框架引入节点跳跃机制，在保证性能的前提下显著降低计算开销。

图 1：MANGO 整体框架。该框架通过策略梯度联合优化路径选择，并通过文本梯度联合优化提示，跳过某些节点以降低计算成本。

1. 流网络构建

工作流中的每个行动被迭代地插入到流网络中。该过程确保相邻操作不会放置在同一个节点中，以保持工作流转换的完整性。后续每个行动的插入都基于其与现有节点集的相似度，相似度定义为该行动与节点内任意节点之间的向量相似度。

如果相似度低于阈值，则在网络中创建一个新节点；反之，将其插入到相似度最高的现有节点中。每个节点都分配一个不同的大模型，代表一个具有特定大模型的智能体，以形成一个多智能体系统。

2. 基于强化学习的边优化

系统给定一个基于历史工作流构建的流程网络后，目标则是从源点到汇点选择相应的智能体来解决复杂任务分解出的子任务。MANGO 利用强化学习来优化流网络中的边选择。当前节点对于其邻边的选择可以被看作马尔可夫决策过程：

1) 状态（State）：当前节点的问题内容与角色描述和邻节点的内容与角色描述交替计算得出的向量相似度。

2) 行动（Action）：选择当前节点的不同邻边。

3) 奖励（Reward）：综合考虑过程层面的正确性和最终任务表现，两者基于一个系数分配比例。

4) 策略（Policy）：使用 REINFORCE 算法优化策略网络，以最大化预期累积奖励。

3. 基于文本梯度的节点优化

另一方面，对于每一个节点，其包括的任务内容与角色描述都会同时基于最终任务结果（全局信号）和中间执行反馈（局部信号），利用文本梯度来更新提示词，确保当工作流路径较长时，梯度信号不会在较早的节点消失。

强化学习边优化与文本梯度节点优化的相互依赖性：更新节点的提示词会修改状态的内容（包括角色描述和计划步骤），这将会直接影响路径选择策略；反之，采样路径决定了流网络中哪些节点的提示词会被实际更新。这就在参数更新和路径选择之间形成了一个相互依赖的优化循环。

4. 节点跳跃

优化工作流路径的计算成本很高，这主要是因为需要重复调用大模型来更新每个节点的提示词。经验表明，一旦某个节点的提示信息得到充分优化，进一步更新带来的收益就微乎其微了。

为了解决这个问题，研究团队引入了一种跳跃机制，该机制在优化过程中选择性地跳过某些节点，从而降低计算开销。如果跳过一个或多个节点，框架则会使用训练工作流中的步骤来填充它们对应的输出。这样做的目的是重用真实中间步骤来监督被跳过的节点，从而在不进行额外动态生成的情况下提高训练效率和稳定性。该跳跃机制通过一个 Skip-k 参数控制，每次可跳跃最多 k 步（无跳跃时为 Skip-1）。

为了展示 MANGO 在实际业务中的应用潜力，研究团队还提供了一个金融业务场景的演示 Demo，通过多智能体协作处理复杂流程，具体演示了框架在实际中如何优化工作流路径和节点提示词，从而提升整体效率和准确性。

实验数据

为了评估 MANGO 框架在不同领域的表现，研究团队选择了 7 个数据集，包括代码编写任务（HumanEval、MBPP）、数学解题（MATH500、GSM8K）、文章阅读理解（DROP）以及多领域问题回答（MMLU、GPQA-Diamond）。由于框架在构图与训练过程中需要借助以往成功的工作流，团队基于训练集的问题生成了相关工作流，以支持正确解答，并将这些工作流与对应问题一并保存在数据集中。

实验中，论文主要以 GPT-4o-mini 作为基础大模型，评估指标包括 HumanEval 和 MBPP 的 pass@1、MATH、GSM8K、MMLU 和 GPQA 的 Accuracy，以及 DROP 的 F1-score。

实验结果

表 1：以 GPT-4o-mini 为基础大模型的有效性结果。最佳结果以绿色背景的粗字体显示，最佳基线结果以下划线标出。

1）与基线方法的有效性比较

总体而言，MANGO 在所有领域均表现最佳，超越了最佳基线模型，例如，在 MATH500 任务上的准确率比 MaAS 提升了 12.8%，在 DROP 任务上的 F1-score 比 AFlow 提升了 5.1%。这些提升源于 MANGO 从过往工作流中学习，并联合优化工作流生成和单智能体执行，即使在 Skip-2 设置下也保持领先优势。

表 2：MANGO 与基线方法在数据集 MATH500 上的效率比较

2）效率和训练 / 推理成本

基于基础大模型 GPT-4o-mini 和数据集 MATH500，MANGO 结合节点跳跃技术实现了最佳成本效益，在保持最高准确率的同时，降低了 token 使用量、API 成本和运行时间。在流网络遍历过程中启用三节点跳跃（Skip-3），MANGO 的 API 成本最低（每百万个 prompt token 0.15 美元，每百万个 completion token 0.6 美元）。与 MaAS 相比，训练时间缩短了 41.5%，推理时间缩短了 47.4%，并保持了最高的准确率。结果表明，所提出的算法可以极大程度降低成本。

总结

MANGO，是一个数据驱动的框架，它构建一个流程网络，集成强化学习、文本梯度和跳跃机制以实现高效优化。该框架针对多智能体协作中的误差传播，工作流生成和单智能体执行中的误差作出了相应改进，为多智能体系统设计提供了新的思路。

文章来自于"机器之心"，作者 "机器之心"。