从记忆到行动，还有多远？WorldMemArena把多模态记忆放进真实交互

来自加州大学圣塔芭芭拉分校、斯坦福大学、苏黎世联邦理工学院、约翰斯·霍普金斯大学、卡内基梅隆大学和 J.P. Morgan Chase 的研究者，联合提出多模态 Agent 记忆评测基准 WorldMemArena。论文已被 NeurIPS 2026 接收；共同第一作者 Chengzhi Liu 与 Yuzhe Yang 均来自 UCSB。

团队盯住的是一个很实际的问题：Agent 明明保存了项目计划，预算更新后却仍按旧版本行动；看过环境截图，下一步又忽略了画面里已改变的状态。它究竟是没记下来、没及时更新，还是找到了证据却没用上？

能答出“以前说过什么”，不等于能用好记忆。这正是 WorldMemArena 想追问的核心问题。

• 论文： WorldMemArena: Evaluating Multimodal Agent Memory Through Action–World Interaction
• 论文地址：https://arxiv.org/abs/2605.29341
• 项目主页： https://worldmemarena-mem.github.io/
• 代码：https://github.com/UCSB-AI/WorldMemArena
• 数据：https://huggingface.co/datasets/LCZZZZ/WorldMemArena

只看最后答对没有

漏掉了哪一步？

很多记忆评测把长对话交给模型，最后用问答正确率打分。但一次答错，可能是当初没写下关键事实，也可能是新信息来了却没有覆盖旧信息；还可能是证据明明存着，检索时没找出来，或找出来后没有用进回答。把图像先压成文字描述，也容易丢掉位置、时间和操作过程中的细节。

WorldMemArena 将这些问题放到“观察—行动—环境反馈”的循环里：Agent 不只回忆对话，还要面对会变化的任务状态、网页、文件、截图与工具结果。评测因此不再只看终点，而是追踪记忆怎样影响后续判断。

图 1｜传统评测常聚焦静态回忆或最终问答；WorldMemArena 加入多模态线索、记忆生命周期与行动后的世界变化。图源：论文 Figure 2。

把“记忆”拆成四个可以定位的环节

论文提出 Action–World Interaction Loop，把长期记忆拆成四步：

• 写入，从当前观察中挑出以后可能有用的证据；
• 维护，在世界状态变化时更新、合并或丢弃过时内容；
• 检索，在下一次决策前找回相关证据；
• 使用，让证据真正进入回答或行动。

这个划分的价值，在于把一句笼统的“Agent 忘了”变成可检查的问题：它究竟漏记了，记错了，没找到，还是找到了却没用？研究团队为任务标注了关键记忆点、状态更新、干扰信息及答案所需的证据链，使这些环节有了共同的诊断依据。

图 2｜记忆随观察、更新、检索和行动持续流动；行动又会改变下一轮需要记住的世界。图源：论文 Figure 1。

让“长期对话”和“真实执行”同时成为考题

WorldMemArena 包含 400 项以上多会话任务、24,258 组问答，以及 15,595 张图像或截图。任务分成两类：

• Lifelong Evolution 追踪个人偏好、项目进度等跨会话变化；
  
• Agentic Execution 则从真实或重建的 Agent 轨迹中取材，保留观察、操作、工具反馈与视觉状态。

后一类尤其考验记忆的“行动性”。Agent 不只是要记住“用户说过什么”，还得知道自己尝试过什么、哪一步失败了、环境后来变成什么样。数据构建中还设置了中途和最终检查点，问题覆盖事实回忆、动态更新、冲突处理、视觉搜索和跨模态推理等类型。

图 3｜从多会话窗口中提取与更新关键记忆点，再构建阶段性问答；任务覆盖 GUI 和具身交互等场景。图源：论文 Figure 3。

记得多

为什么仍答不对？

在统一设置下，论文比较了长上下文模型、RAG 与外部记忆系统，以及由 Agent 自己管理记忆的 harness 路线。一个直接的发现是：存得多，并不保证用得好。 

例如，主结果表中 M2A 的记忆召回率达到 86.83%，但最终问答正确率为 50.14%；MemGPT 的对应数值为 85.20% 和 57.81%。这些数值来自同一表中的不同系统，说明“写入了多少”与“回答时能否调用正确证据”不能画等号。

研究还发现，系统往往倾向于继续追加新记忆，而不是及时修订旧记忆；视觉信息虽然进入了记忆库，在需要跨时间、跨模态推理时却未必能可靠发挥作用。对一个不断变化的世界来说，遗忘过时信息与保存新信息同样关键。

表 1｜记忆质量与最终问答表现并不总是同步。上文数值取自论文 Table 2 的 Recall 与 QA-C 两列，均为按样本平均的百分比。

更贴近执行过程的任务，难度也明显上升。论文的跨场景分析显示，多数系统在 Lifelong Evolution 上表现优于 Agentic Execution；视觉搜索、视觉状态更新和跨模态推理则暴露出另一层短板：系统可能“看过”截图，却没有把其中的变化转成后续决策可用的证据。

图 4｜不同记忆系统在长期状态演化、Agent 执行轨迹及视觉问答中的表现差异。图源：论文 Figure 5。

下一步

让 Agent 从经历中真正学到东西

WorldMemArena 的意义，不只是给记忆系统排一次名。它把焦点从“能否复述过去”推进到“能否维护一个持续变化的世界，并让过去的经历帮助下一次行动”。现阶段的结果提醒我们：存储容量、检索数量和最终答案之间还有多道关卡。

更可靠的 Agent 记忆，需要会修订，会甄别证据，也要能把失败与反馈转化为下一步的判断依据。

文章来自于"机器之心"，作者 "机器之心"。