2025年,人工智能领域正在经历一场由LLM Agent引发的深刻变革,不管普通人的衣食住行还是研究者的尖端研究,都很难不受Agent的影响。
这篇来自中美顶级研究团队的综述论文,全面梳理了LLM Agent在方法论、应用和挑战等方面的329篇最新进展。作为一名正在开发Agent产品的工程师,你需要了解这个快速发展的领域正在发生什么,以及未来将何去何从。与传统AI系统相比,LLM Agent在知识来源、泛化能力和交互模式上实现了质的飞跃,这主要得益于三个关键因素:LLM前所未有的推理能力、工具操作和环境交互能力的提升,以及支持长期经验积累的复杂记忆架构。
LLM agent生态系统概览
从方法论角度,我们可以从三个维度理解LLM代理技术:构建维度关注单个代理的核心组件;协作维度探索多代理之间的互动机制;进化维度研究代理如何通过自主学习、共同进化和外部资源整合来改进自身性能。这三个维度共同构成了代理技术的完整生命周期。
Agent构建是开发自主系统的基础环节,涉及四个核心组件:角色定义、记忆机制、规划能力和行动执行。角色定义决定了Agent的行为边界和交互协议,既可以通过人工定制静态配置文件实现(如Camel、AutoGen等框架采用的预定义对话角色),也可以采用批量生成的动态配置文件(如通过参数化初始化生成多样化的Agent个性特征)。这两种方式在不同应用场景中各有优势,前者确保行为一致性,后者支持更丰富的社会行为模拟。
记忆机制是Agent持续运行的关键支撑,分为三种主要形式:短期记忆维护瞬时上下文数据(如ReAct、ChatDev等框架中的思考轨迹);长期记忆则将认知努力转化为可重用资产(如Voyager的自动技能发现、ExpeL的经验池和TPTU的自适应工具组合);知识检索机制将外部知识库整合到生成过程中(如RAG、GraphRAG和Chain of Agents等方法)。这些记忆机制相互补充,共同拓展了Agent的信息边界。
规划能力使Agent能够处理复杂任务,主要通过任务分解和反馈驱动两种策略实现。任务分解既可以采用单路径链式规划(如零样本思维链和plan-and-solve范式),也可以使用多路径树状规划(如思维树ToT方法)。反馈驱动迭代则利用环境输入、人类指导、模型自省和多Agent协作等反馈来持续优化规划过程。这些策略使Agent能够处理"尝试-错误-修正"等复杂问题解决流程。
行动执行能力是Agent价值实现的最后环节,主要体现在工具利用和物理交互两个方面。工具利用涉及工具使用决策和工具选择,而物理交互则要求理解各种影响因素(如机器人硬件、社会知识等)。高效的行动执行使Agent能将规划转化为现实世界的影响。
多Agent协作是扩展问题解决能力的关键策略,按照决策层级和通信拓扑可分为三种架构:中心化控制、去中心化合作以及混合架构。
中心化控制采用层级协调机制,有显式控制器系统(如Coscientist中的人类操作员、LLM-Blender的交叉注意力编码器和MetaGPT的专业化管理者)和基于差异化的系统(如AutoAct的三重角色系统和Meta-Prompting的任务分解框架)两种实现形式。这种架构在需要严格协调的任务中表现优异。
去中心化合作则通过自组织协议实现直接点对点交互,可分为基于修改的系统和基于通信的系统。基于修改的系统让Agent通过结构化编辑协议共同修改输出(如MedAgents的专家投票和ReConcile的迭代精炼),而基于通信的系统则支持更灵活的对话互动(如MAD的结构化通信协议、MADR的事实核查和MDebate的固执-协作交替策略)。这种架构适合模拟人类社会交互等动态场景。
混合架构结合了中心化与去中心化的优势,有静态系统(如CAMEL的分组角色扮演、AFlow的三层规划和EoT的四种协作模式)和动态系统(DiscoGraph的姿态感知协作和DyLAN的重要性感知拓扑)两种实现方式。这种架构能够平衡控制性与灵活性,适应异构任务需求。
Agent进化是系统持续改进的核心机制,包括自主优化、多Agent共同进化和外部资源整合三个维度。自主优化包括自监督学习(如SE的自适应掩码、进化优化的高效模型合并和DiverseEvol的指令调优)、自反思与自纠正(如SELF-REFINE的迭代自反馈、STaR的推理引导和自验证的回溯校正)以及自奖励与强化学习(如自生成奖励、RLCD的对比蒸馏和RLC的评估生成差距优化)。这些机制使Agent能够在最小监督下持续改进。
多Agent共同进化分为合作学习(如ProAgent的意图推断、CORY的多Agent强化学习和CAMEL的角色扮演框架)和竞争对抗进化(如对抗性红队训练、多Agent辩论和MAD框架)两种模式。这些协作和竞争机制驱动Agent发展更强的推理、适应性和战略思维能力。
外部资源整合则通过知识增强(如KnowAgent的行动知识和WKM的世界知识模型)和外部反馈驱动(如CRITIC的工具辅助自纠正、STE的模拟试错和SelfEvolve的自动调试)来提升Agent能力。这些方法使Agent能够有效整合结构化外部信息,提高适应性和鲁棒性。
随着Agent技术的复杂化,评估框架已从简单的成功率指标进化为全面的多维度分析体系。通用能力评估方面,AgentBench构建了跨8个交互环境的统一测试场景,Mind2Web通过137个真实网站的137项任务评估网页交互能力,MMAU通过3000多项跨域任务分解智能为五个核心能力,而VisualAgentBench则专注于评估多模态基础Agent。这些评估框架反映了从单一成功指标向多维认知分析的转变。
评估框架和工具
动态和自进化评估范式则解决了基准过时问题,BENCHAGENTS通过LLM Agent自动创建基准,Benchmark自进化引入六种重构操作动态生成测试实例,而Revisiting Benchmark则提出了基于强化学习的领域自适应评估方法。这些方法与静态数据集互补,共同推动了工具使用评估的标准化。
领域特定评估系统则聚焦于特定行业的应用需求,如医疗领域的MedAgentBench(包含300个临床任务)和AI Hospital(模拟临床工作流),自动驾驶的LaMPilot(连接LLM与自动驾驶架构),数据科学的DSEval和DA-Code(覆盖从数据辩论到模型部署的生命周期),以及安全领域的AgentHarm(包含440个恶意Agent任务)。这些领域特定基准揭示了实际应用中与通用测试相比的显著性能差距。
协作评估则从孤立的Agent评估转向系统级的认知协作评估,TheAgentCompany通过模拟软件公司环境测试Web交互和代码协作能力,AutoGen和CrewAI通过ML代码生成挑战建立方法标准,而MLRB设计了7个竞赛级ML研究任务。这些努力共同建立了评估Agent协调能力的严格评估协议。
工具是LLM Agent的重要组成部分,可分为三类:Agent使用的工具、Agent创建的工具和部署Agent的工具。Agent使用的工具主要包括知识检索工具(如WebGPT的在线搜索引擎、WebCPM的网页搜索接口和ToolCoder的DuckDuckgo集成)、计算工具(如AutoCoder的代码执行交互、RLEF的端到端强化学习和CodeActAgent的自动行动更新)以及API交互工具(如RestGPT和GraphQLRestBench)。这些外部工具帮助Agent克服在实时信息处理和精确计算方面的局限。
Agent创建的工具则关注如何让Agent自主开发工具来解决新问题,如CRAFRT框架(收集GPT-4代码解决方案并抽象为代码片段)、Toolink(通过解决方案链CoS集成工具创建和调用)、CREATOR(提出创建-决策-执行-反思四阶段框架)和LATM(提出工具制造者和工具使用者两阶段框架)。这些方法使Agent能够根据任务需求创建专用工具集。
部署Agent的工具则支持Agent的生产化和运维,包括产品化工具(如AutoGen开源框架、LangChain可扩展框架、LlamaIndex数据框架和Dify开发平台)、运维工具(如Ollama平台和Dify的监控分析功能)以及模型上下文协议(如开放协议MCP和MCPAgent框架)。这些工具为Agent的部署、开发和数据安全传输提供了必要支持。
随着Agent技术融入社会各方面,安全挑战变得尤为重要。Agent安全可分为以Agent为中心和以数据为中心两大类威胁。Agent中心安全关注防御针对模型组件的攻击,如对抗性攻击、越狱攻击、后门攻击和模型协作攻击。
现实世界问题分类
对抗性攻击旨在破坏Agent可靠性,如CheatAgent针对推荐系统的对抗性扰动和GIGA的可泛化传染性梯度攻击。对应的防御策略包括LLAMOs的对抗输入净化技术和基于多Agent辩论的防御机制。越狱攻击试图突破模型保护,获取未授权功能或信息,如RLTA的强化学习自动生成攻击和PathSeeker的多Agent强化学习引导。防御方法包括AutoDefense的多Agent防御框架和ShieldLearner的自主学习攻击模式合成防御策略。
后门攻击则植入特定触发器导致预设错误,如DemonAgent的动态加密多后门植入攻击和DarkMind的潜在后门攻击。模型协作攻击是一种新兴攻击类型,针对多模型协作场景,如CORBA利用传染性和递归性干扰Agent交互,AiTM则通过拦截和操纵Agent间消息破坏系统。针对这些攻击,研究者提出了Netsafe(识别多Agent网络中的关键安全现象)、G-Safeguard(利用图神经网络检测异常)和PsySafe(基于Agent心理学识别安全风险)等防御策略。
数据中心安全则关注污染Agent输入数据的攻击,主要包括外部数据攻击(如用户输入伪造、暗心理学引导和外部源污染)和交互攻击(用户-Agent接口交互和Agent间交互)。防御策略包括Mantis的反向黑客技术、多层Agent防火墙、RTBAS和TaskShield的信息流检查,以及BlockAgents的基于区块链和思维证明的共识机制。
隐私问题主要源于LLM的记忆能力,可能在对话或任务完成过程中泄露私人信息。LLM记忆漏洞包括数据提取攻击(如针对GPT-2模型的个人身份信息提取)、成员推断攻击(通过概率变化判断特定数据样本是否为训练数据的一部分)和属性推断攻击(推断数据样本的特定特征)。保护措施包括数据清洗策略、差分隐私噪声引入、知识蒸馏技术和隐私泄露检测工具。
知识产权问题则涉及模型盗窃和提示词盗窃,如通过查询API窃取语言模型信息、窃取LLM解码算法、从LLM提取专用代码,以及从生成内容推断原始提示。保护措施包括模型水印和基于区块链的IP认证,以及防止提示盗窃的对抗样本引入。
Agent技术带来了显著的社会影响,既有积极方面也有伦理挑战。积极影响包括自动化增强(在医疗、生物医学、法律和教育等领域减少时间成本并提高效率)、就业创造与劳动力转型(重塑就业市场需求,扩大技术和管理岗位)以及信息分发增强(促进广告分发和改革教育可及性)。
伦理挑战则包括偏见与歧视(Agent可能继承并放大训练数据中的偏见)、责任问题(有害输出的责任归属和管理框架)、版权问题(AI模型训练数据的公平使用和知识产权保护)以及其他挑战如隐私、数据操纵、错误信息以及LLM的碳足迹和计算成本等。
LLM Agent在科学发现中的应用正快速发展,各学科领域都展现出令人瞩目的进展。在跨学科研究方面,SciAgents框架利用"本体论者"、"科学家"和"批评者"等不同LLM Agent共同生成和精炼科学假设,Curie系统则通过"架构师"和"技术员"Agent自动设计和执行实验,而AgentReview则模拟学术同行评审过程提供改进评估协议的见解。
化学、材料科学和天文学领域是早期采用者,ChemCrow集成了18个专家设计的化学工具实现自主化学合成,AtomAgents创建了物理感知多Agent系统用于自动合金设计,而切伦科夫望远镜阵列则开发了AI副驾驶Agent管理望远镜配置和数据分析。生物学领域也开始拥抱LLM Agent,BioDiscoveryAgent设计遗传扰动实验,GeneAgent通过自我完善循环发现基因关联,而BioRAG则开发了基于多Agent的RAG系统处理生物学相关问题。
在科学数据集构建方面,PathGen-1.6M通过多Agent协作生成了大规模病理图像数据集,KALIN开发了多Agent协作框架生成高质量领域LLM训练语料,而GeneSUM则通过基因本体阅读器、检索代理和总结代理自动维护基因功能描述知识集。医疗领域应用同样丰富,AgentHospital创建了由LLM驱动的医生、护士和患者Agent组成的虚拟医院,ClinicalLab提供了跨24个医学专科的多部门医疗诊断基准和Agent,而AIPatient则创建了由医学知识图谱支持的逼真患者模拟器。
Agent技术在游戏和社会模拟领域正展现出强大潜力。在游戏领域,AgentVerse构建了一个可扩展的环境支持自定义Agent设计,Voyager在Minecraft中实现了持续学习能力,不断学习和执行新技能,Generative Agents实现了真实的人类行为模拟,能够进行独立规划并展示社会交互行为,而SocialGenAI和GoodTwin则分别聚焦于社交互动和模拟人类活动模式。
社会模拟方面,Village系统构建了一个小型城镇社区,让超过25个Agent共享知识并形成长期记忆,演化出复杂的社交网络。Cauldron框架则支持创建社会模拟和基于Agent的社会系统,可用于社会科学研究和政策决策支持。这些系统不仅为游戏开发带来新可能,也为社会动态研究提供了前所未有的工具。
Agent技术正在重塑生产力工具,涵盖多个领域。在软件开发方面,ChatDev通过各种专业Agent(如产品经理、程序员等)实现从需求到代码的全流程,MetaGPT提供了一个基于Agent的工作流引擎处理软件工程工作流,而DevAgent则通过多Agent合作实现软件开发全生命周期自动化。推荐系统领域,Agent4Rec利用Agent建模用户行为和偏好,提供个性化推荐,RecAgent实现了多角色推理提高推荐系统性能,而AgentCF则通过社交关系网络进行协同过滤。
教育应用方面,Agent技术已用于创建个性化学习系统,如AgentTutor和LLM-Agent-Tutor提供适应性指导。其他应用还包括搜索增强(Perplexity、SearchBrush)、内容创作(MovieAgents、StoryBench)和网络安全(CyberGuard、CyGIL)等。这些应用表明Agent技术正在各个领域扩展人类能力边界。
尽管Agent技术取得了显著进展,仍面临多项技术挑战需要解决。可扩展性和协调效率是多Agent系统的关键挑战,尤其是在Agent数量增加或需要深层推理时;记忆约束和长期适应则涉及如何在受限上下文窗口中维护复杂记忆结构,支持长期任务执行;可靠性和科学严谨性挑战要求Agent能够提供可靠、可验证的结果,特别是在科学和医疗等高风险领域;多轮多Agent动态评估则需要开发更精细、动态的评估框架,捕捉Agent在复杂交互中的表现。
Agent技术正朝着几个关键方向发展:更复杂的角色扮演和模拟,使Agent能够模拟更真实的社会互动和认知过程;更安全的部署机制,包括更强的对抗性防御和隐私保护;更强大的协作能力,使多Agent系统能够处理更复杂的任务;以及与实体世界的更深入集成,使Agent能够与物理环境无缝交互。这些趋势将共同推动Agent技术向更高水平发展。
2025年的Agent技术正处于爆发期,这篇综述为你提供了一个全面的技术地图,从方法论的三维框架到评估工具、现实挑战和丰富应用。作为开发者,你既要把握住技术发展的脉络,也要警惕各种安全、隐私和伦理挑战,在实践中不断探索和创新。未来的Agent技术必将重塑人机协作的方式,推动智能从简单响应向主动执行、从辅助人类向真正协作的转变。在这场变革中,深入理解Agent技术的架构基础不仅对研究者重要,对政策学者、产业实践者和整个社会同样具有深远意义。研究团队已将主要论文整理到下面的repo里,如有需要,请移步。
https://github.com/luo-junyu/Awesome-Agent-Papers
文章来自于“AI修猫Prompt”,作者“AI修猫Prompt”。
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。
项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file
本地安装:https://www.deepbi.com/
【开源免费】airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。
项目地址:https://github.com/hitsz-ids/airda
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI
【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。
项目地址:https://github.com/InternLM/MindSearch
在线使用:https://mindsearch.openxlab.org.cn/
【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。
项目地址:https://github.com/miurla/morphic/tree/main
在线使用:https://www.morphic.sh/
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0