浙大&通义全面评测智能体复杂任务规划能力，18主流大模型全不及格｜ICLR2025

大模型智能体正在迅速发展，能力已不再局限于 API 调用。

诸如OpenAI的Operator和Anthropic的Computer Use等，能够像人类一样直接与界面交互，执行复杂操作。

在处理这类复杂任务的过程中，大模型智能体将问题分解为可执行的工作流（Workflow）是关键的一步。然而，这一核心能力目前缺乏完善的评测基准。

现有的数据集和评估框架存在明显局限性：要么仅关注规划任务的端到端性能，要么在场景覆盖范围、工作流结构的复杂性以及评估标准的全面性上存在不足。完善的工作流评测基准对于推动大模型智能体在真实场景中的应用和性能提升至关重要。

为解决上述问题，浙大通义联合发布WorfBench——一个涵盖多场景和复杂图结构工作流的统一基准，以及WorfEval——一套系统性评估协议，通过子序列和子图匹配算法精准量化大模型生成工作流的能力。这一研究不仅填补了现有评估体系的空白，还为未来大模型智能体在复杂任务中的应用提供了重要的参考。

该工作已被人工智能顶级会议ICLR 2025录用。

WorfBench构建与评估

WorfBench利用GPT自动化构建多场景任务，包括problem solving、function calling、embodied planning和open-ended planning等，生成了包含18k训练样本、2146测试样本和723个OOD的评测数据集。作者将工作流建模为有向无环图（DAG），以更精确地表示现实世界中的复杂串行或并行智能体工作流。

为了确保数据质量，作者引入了节点链作为中间结构，并采用拓扑排序（Topological Sorting）算法对图结构进行质量过滤，并在测试集上进行人工验证。

WorfEval则通过子序列和子图匹配算法，分别从链结构和图结构两个维度对大模型生成的工作流进行量化评估，从而精准衡量模型的线性规划和图规划能力。

基准评测结果

作者在WorfBench上对18种不同规模的主流大模型进行了全面评估，包括闭源模型（如O1、GPT-4、Claude-3.5）和开源模型（如Llama系列、Qwen系列等）。实验结果显示，与线性结构相比，模型在图结构工作流预测上的能力远未达到现实需求，即使是性能卓越的GPT-4，其图结构工作流的平均性能也仅为52.47%。

此外，作者还对两个开源模型进行了训练，并在OOD任务上评估其泛化能力。结果表明，尽管在训练集上表现出色，但在未见过的任务上，模型的泛化能力仍有待提高。这表明，仅通过数据拟合目前仍难以实现结构化工作流规划能力的有效学习。

工作流生成分析

通过对实验结果的深入分析，作者发现大模型在工作流生成中存在显著的线性规划与图规划能力差距，且图规划能力与模型规模并非完全正相关。例如，部分7B模型在某些任务上超越了13B模型，这可能与模型训练数据的规模和质量有关。

此外，作者还发现，即使提供标签节点链以简化图结构预测任务，模型的图规划性能仍不理想，这表明图规划的复杂性在于对任务依赖关系的理解。

进一步的错误分析显示，大模型在工作流生成中的典型错误主要集中在任务分解的粒度、任务描述的明确性、图结构的正确性以及输出格式的规范性四个方面。这些错误大多源于模型对环境知识的缺乏。

因此，未来的研究方向可能包括优化提示策略、采用多智能体架构，以及将世界知识或世界模型更深入地融入大模型中，以提升其对现实世界的理解能力。

工作流知识增强智能体

作者探讨了工作流在智能体规划中的重要作用。研究发现，工作流不仅可以作为一种流程先验知识直接指导智能体的规划过程，帮助其在复杂任务中更高效地执行，还可以作为链式思考（Chain-of-Thought, CoT）的增强手段，通过为智能体提供更相关的API选择，减轻其在多步任务中的负担。

此外，工作流的图结构特性能够实现并行任务执行，显著减少推理时间，同时减少智能体在规划过程中的步骤数，提升任务完成效率。这些结果表明，工作流不仅是连接任务与具体执行动作的桥梁，还能显著提升智能体在复杂任务中的表现和效率。

论文链接: https://arxiv.org/abs/2410.07869

代码链接: https://github.com/zjunlp/WorfBench

文章来自微信公众号 “ 量子位 “，作者 WorfBench团队