EMNLP 2026 Main｜预测越像真实环境，Agent反而做得更差？我们把世界模型的训练目标从"状态一致"换成了"行为一致"

• 论文标题：Beyond State Consistency: Behavior Consistency in Text-Based World Models
• 录用信息： EMNLP 2026 Main Conference
• 论文链接：https://arxiv.org/abs/2604.13824
• 代码开源：https://github.com/Ricardo-H/behr-wm
• 模型开源：https://huggingface.co/collections/Ricardo-H/behr-behavior-consistent-world-models

一句话概括：文本世界模型都在比 "生成文本像不像真实环境"，但我们发现文本更接近真实环境的预测反而可能让智能体错得更离谱。把训练目标从 "状态一致" 换成 "行为一致" 后，16 组实验配置下世界模型的轨迹级一致性几乎全面提升，弱智能体离线评测的假阳性率从 42.5% 降到 9.5%。

预测偏差不可避免时，什么才是 "关键" 幻觉？

LLM agent 在网页导航、工具调用、文本冒险等任务上进步很快，但让智能体在真实环境里跑一遍代价不小：慢、贵，有时还会触发不可逆操作。一种思路是用另一个 LLM 来 "扮演" 环境 —— 智能体在电商网站点击 "搜索毛衣"，这个模型就生成搜索结果页；智能体选了某件商品，它就给出商品详情页。这就是文本世界模型。有了它，智能体可以在模拟环境中做离线评估或前瞻规划，不用真的去访问网站。

怎样才算一个好的世界模型？现有方法几乎都给出同一个答案：让生成文本尽可能贴近真实环境。训练上，无论是监督学习（在真实轨迹上做逐 token 最大似然）还是强化学习（以 F1 score 等文本相似度作为 reward），优化目标都指向同一件事 —— 让预测文本更接近真实观察；评估上也用 F1、BERTScore、ROUGE-L 等指标衡量文本相似度。背后的逻辑很直接：文本越接近真实，世界模型就越好；所有偏离真实的生成幻觉都是需要相同压制的误差。

如果真能把所有幻觉都消掉，这套逻辑当然成立。但在长步交互中，几十步自回归预测下误差不断累积，漏商品、错属性、编造 UI 元素难以避免。既然幻觉短期内无法完全消除，一个更实际的问题是：不同类型的幻觉对下游智能体决策的影响是否相同？训练目标能否引导模型把错往 "无害" 方向犯，而非往 "致命" 方向犯？

文本越像，智能体未必做得更好

图 1：指标反转示意图。世界模型的两种幻觉输出 —— 输出 1 遗漏了目标毛衣，BERTScore 仍高达 0.974，但智能体找不到目标、任务失败；输出 2 仅遗漏了两个无关商品（连衣裙和围巾），BERTScore 降到 0.859，智能体反而顺利完成了购买。BehR 正确识别了 "关键" 幻觉。

图中两种输出都是 "遗漏商品" 的幻觉，但对智能体决策的影响截然不同：输出 1 少了目标商品，智能体根本找不到要买的东西；输出 2 少了两件无关商品，丝毫不影响购买。然而主流文本保真度指标对这两类错误的反馈恰好反了 —— 更严厉地惩罚删掉无关商品的 "良性幻觉"，反而放过删掉目标商品的 "致命幻觉"。在模型必然会犯错的前提下，现有训练目标不仅没让世界模型把错往 "无害" 方向犯，反而在主动把它往 "致命" 方向推。

我们用受控扰动实验定量验证了这种 "指标反转" 现象：F1 score、BERTScore、ROUGE-L 甚至 GPT-4o 当裁判，全部排反。只有 BehR 同时实现正确排序和稠密信号。

这说明文本保真度不等于功能正确性，主流世界模型的训练目标一直没有对齐智能体真正在意的东西。

从 "状态一致" 到 "行为一致"

既然文本相似度不可靠，我们换一个角度：如果智能体在预测状态和真实状态下做出一样的决策，这个预测就是好的。我们把这个目标定义为 "功能一致性"（Functional Consistency），形式上：

其中  是真实状态， 是预测状态， 是历史轨迹。类比翻译：逐字直译未必是好翻译，关键是读者能不能从译文中做出和原文一样的判断。

方法：行为一致性奖励 BehR

图 2：BehR 训练流程。上方为传统做法（对应监督学习的 MLE 和以 F1 为 reward 的强化学习）：比较预测与真实状态的文本相似度。下方为 BehR：冻结的参考智能体在两种状态下分别对同一动作打分，打分之差即为奖励信号。

BehR（Behavior Consistency Reward）的思路很朴素：找一个冻结的参考智能体，让它分别在真实状态和预测状态下输出同一动作的对数概率，两者越接近，奖励越高：

具体而言：两种状态下打分一致则奖励最大；删掉目标商品会导致打分骤变、奖励暴跌；删掉无关商品几乎不影响打分、奖励不变。训练采用 GRPO（Group Relative Policy Optimization）：世界模型对每个样本生成若干候选预测，各自计算 BehR，做组内相对归一化得到策略梯度。

实验结果

我们在 WebShop（电商导航）和 TextWorld（文本冒险）上验证，基座覆盖 Qwen2.5-7B 与 LLaMA3.1-8B，评测智能体包含 Qwen3-8B、Qwen3-32B、GPT-4o、GPT-5 共 4 个。评测时让同一智能体分别在真实环境和世界模型中跑完整轨迹，对比两者的任务结果是否一致（，越接近 1.0 越好）。

表 1：多智能体评估全表。Real = 智能体在真实环境中成功率；WM = 智能体在世界模型中成功率；W2R = 把世界模型中的动作序列放回真实环境复放的成功率；CR 为 W2R 与 Real 成功率之比；$$CR_{pw}$$ 为逐任务配对一致率，也是论文的主指标。

在 16 组配置中，BehR 世界模型相比基线在 13 组上提升了 ，其余 3 组持平，没有出现退化。WebShop 上提升最显著：

TextWorld 上强智能体基线已接近分数上限，BehR 的作用更多是维持这种近乎满分的一致性。

两个下游应用

离线评估。 世界模型生成的环境比真实环境更简单时，弱智能体也能蒙混过关。TextWorld 上 Qwen3-0.6B 的真实成功率为 0%，基线世界模型却把 42.5% 的任务判为成功 —— 近一半任务是假阳性。BehR 训练后假阳性率降至 9.5%，一致率从 57.5% 升到 90.5%。

前瞻规划。 让智能体每步提出 5 个候选动作，用世界模型模拟后挑最优。BehR 世界模型帮 Qwen3-8B 在 WebShop 上把成功率从 14.5% 提升到 25.5%（+11.0pp），高于基线的 +9.0pp。越弱的智能体获益越大 —— 它越需要 "先想一下再行动"。

总结

我们揭示了文本世界模型评估中的指标反转现象，并把训练目标从 "状态一致" 转向 "行为一致"，提出行为一致性奖励 BehR：用冻结参考智能体的决策差异代替文本相似度作为训练信号。整个流程只需要本地冻结的参考智能体提供反馈，不需要额外的人工偏好标注。消融实验也证实了提升确实来自奖励函数本身，而非其他训练细节。在两个环境、两种基座、四种评测智能体的 16 组配置中，BehR 在绝大多数组合上都提升了轨迹级一致性；在离线评测和前瞻规划上也有明确收益。

我们希望这项工作能让社区重新审视一个问题：世界模型的价值不在于生成的预测有多像真实环境，而在于能否让智能体做出一致的决策行为。

作者简介

本文由大连理工大学、MBZUAI、北京大学及微软合作完成。团队成员包括 Youling Huang, Guanqiao Chen, Junchi Yao, Lu Wang, Fangkai Yang, Chao Du, Chenzhuo Zhao, Pu Zhao, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang。

文章来自于"机器之心"，作者 "Youling Huang, Guanqiao Chen, Junchi Yao, Lu Wang, Fangkai Yang, Chao Du, Chenzhuo Zhao, Pu Zhao, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang"。