大模型RL训练为何会「越训越窄」？ACL Outstanding Paper从token-level熵变揭示RLVR训练机制

基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）正在成为大模型后训练的关键技术。数学题能判对错，代码能跑测试，可验证奖励让大模型可以通过强化学习持续提升推理能力。

不过，在 RLVR 训练过程中，一个值得关注的问题是：模型并不总是越训练越会探索。随着策略熵（policy entropy）快速下降，模型输出可能逐渐同质化，采样路径变窄，训练也可能提前停滞。

近日，浙江大学、腾讯等机构的论文《Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective》在刚刚结束的 ACL 2026 会议中获评 Outstanding Paper Award。这项工作从 token-level 熵变出发，重新解释 RLVR 中的熵坍缩（entropy collapse），通过理论和实验分析对于熵动态的干预机制，并提出熵稳定方法 STEER，在数学推理和代码任务上都取得了稳定提升。

• 论文标题：Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective
• 论文地址：https://arxiv.org/abs/2510.10150
• 代码地址：https://github.com/zz-haooo/STEER

RLVR 训练中的熵坍缩：探索空间为何过早收缩？

RLVR 的训练过程看起来很直接：模型生成答案，环境给出可验证奖励，算法再根据奖励更新策略。对于数学和代码任务来说，这个范式尤其自然，因为答案是否正确、代码是否通过测试，都可以作为明确的反馈信号。

然而，在实际训练中，一个常见的训练现象是策略熵会快速下降，这就是熵坍缩。

熵坍缩会让模型输出逐渐同质化，采样路径变窄。对于 GRPO 这类 group-based 算法，问题会更严重：当同一个问题采样出的回答越来越相似，组内 advantage 信号会变得不再有区分度，训练也可能随之停滞。

下图展示了不同模型和不同训练数据下的策略熵变化。虽然下降速度不同，但共同趋势很明显：随着训练推进，模型的探索空间持续收缩。

要理解策略熵的下降过程，可以把 RLVR 训练看成对一棵推理树的动态调整。

具体来说，大模型的一段推理不是一次性生成出来的，而是由许多步 token 选择串起来的。站在某一步，模型会对所有可能的下一个 token 给出一个概率分布；把这些可能性继续展开，就像一棵不断分叉的推理树。

这里的 “分叉” 并不是简单数有多少个候选 token，而是看模型真正给多少条路径分配了足够的概率。因此，token 熵反映的是某个节点处的 “有效分叉数”：有效分叉越多，模型保留的可能推理方向越多；有效分叉越少，推理树就越容易收缩到少数路径上。

从这个角度看，RLVR 本质上是在已有推理分支上做动态调整：有价值的分支被继续延展，错误或低价值的分支被压制、剪掉。

下面这组示意图中，前两张分别说明低熵和高熵的直观含义；第三张则把训练过程模拟成了一棵不断被扩展和修剪的推理树。岔路口对应模型在某一步推理中面对的多个可能方向。左侧工人继续开路，代表训练在奖励信号支持的轨迹上鼓励新的推理分支生长；右侧的禁止标志，则代表低奖励或错误轨迹中的推理分支被压制和剪枝。

在这个视角下，RLVR 训练同时包含两种力量：增枝和剪枝。增枝会让模型保留更多可能性，推动熵上升；剪枝会让概率质量集中到少数路径上，推动熵下降。健康的训练需要二者保持动态平衡；当剪枝长期压过增枝，探索空间就会被过早收缩，形成熵坍缩。

进一步看，整棵推理树的形态变化是由每个 token 训练对局部分支的调整累积而来。也正因为如此，理解熵坍缩，需要回到 token-level 熵变：通过分析每个 token 在每一次参数更新中会让熵如何变化，来理解整体策略熵的变化。

定量分析：看清每个 token 的训练如何改变策略熵

作者首先推导了 token-level 熵变的近似表达式，用来刻画一次更新如何改变当前状态下的策略熵：

抛开学习率、长度归一化这些主要影响整体尺度与平均方式的项后，决定不同 token 熵变方向和幅度的，可以拆解为下面四个因素：

• 裁剪机制（clipping strategy）：这个 token 的更新是否被重要性采样比率的 clipping 截断；
• 优势信号（advantage）：它来自正样本还是负样本，当前更新是在奖励它还是惩罚它；
• token 生成概率（token probability）：它原本是模型很容易生成的高概率 token，还是较少生成的低概率 token；
• 条件熵（conditional entropy）：在当前上下文下，模型整体上还有多不确定。

在明确这些影响因素之后，文章进一步发现，token-level 熵变的方向主要由优势信号和 token 生成概率共同决定。沿着这两个维度，token 更新可以分成四类。

左图给出了 token 更新的四种基本情形：优势信号决定当前 token 是被奖励还是被惩罚；而它原本被模型生成的概率，则决定这次更新是在打开新的分支，还是进一步强化已有分支。

右图则把这四种情形放回推理树中：一次 RL 更新会提高或降低某条分支的概率，但局部熵是升还是降，取决于这条分支原本的概率高低。高概率正确分支被继续推高，会让分布更集中、局部熵下降；低概率正确分支被推高，则是在保留罕见但有效的路径、局部熵上升。对负样本也是类似：压低高概率错误分支会释放概率空间、局部熵上升；压低低概率错误分支则是在剪枝、局部熵下降。这几种情形共同决定了更新更倾向于熵增还是熵减。

重新理解现有熵干预方法的机制：为何有效，又为何受限？

从上面的 token-level 熵变视角，很多已有熵干预方法就能被重新理解：它们并不是偶然有效，而是在不同程度上改变了某些 token 的熵变贡献。

• DAPO / Clip-Higher：放开 “稀有但正确” 的分支。DAPO 提高了 clip-high，让更多低概率但正确的 token 参与更新。这类 token 往往对应 “稀有但正确” 的推理路径，因此能帮助模型保留探索，缓解熵坍缩。然而，它的调节仍然是粗粒度的：它改变的是 clipping 阈值，而不是直接判断每个 token 在当前更新中会带来多大的熵变化。

• Positive-Reweighting：削弱对已有路径的过度强化。这类方法降低高概率正样本 token 的权重，减少模型对熟悉正确路径的继续加码；同时强化低概率正样本，让稀有但正确的路径有机会被保留下来。这解释了为什么 positive reweighting 常常有效。但问题在于，这类方法主要围绕正样本设计，而负样本里同样存在升熵和降熵的力量，条件熵也会影响更新幅度。只盯住一部分 token，很难完整控制训练中的熵动态。

• Entropy-Aware Advantage：一个自然直觉是：高熵 token 代表模型还不确定，因此应该给它更大的 advantage，让模型多探索。然而本文指出，更新高熵 token 只意味着它可能带来更大的熵变化，并不保证变化方向。如果这些 token 正处在降熵方向，放大它们反而可能加速熵坍缩。

这些机制分析也均得到了实验证据的支持。整体来看，现有熵干预方法并非无效；它们确实触及了熵动态中的某些局部机制，因此能够在一定程度上缓解熵坍缩。

然而，它们大多只是启发式地、间接地改变部分 token 的更新强度，缺少对每个 token 熵变方向和幅度的直接刻画。因此，它们对训练中熵动态的控制仍然是粗粒度的，难以直接稳定每个 token 更新带来的熵变化。

STEER：给剧烈熵变化的 token 踩下刹车

既然熵坍缩来自 token 更新带来的熵变化失控，一个自然思路就是：不要只在全局上调熵，而是直接控制每个 token 的熵变幅度。

基于这一思路，作者提出了 STEER（Stabilizing Token-level Entropy-changE via Reweighting）。它的核心实现很简单：既然已经可以估计每个 token 在当前更新中会带来怎样的熵变，那么就可以反过来用这个估计值来调节训练权重。如果某个 token 会带来过大的熵变化，STEER 就降低它的权重；如果熵变化较小，则基本保留原有学习信号。这样一来，训练不会因为过早降熵而失去探索，也不会因为盲目增熵而变得不稳定。

这和常见的熵奖励（entropy bonus）或熵正则（entropy regularization）不同。STEER 并不是粗暴地 “把熵拉高”，因为过大的熵增加同样可能让训练发散。它可以作为一个 token-level 的 “限速器”：不是简单把熵推高，而是让每一步训练中的熵变化保持可控。

论文中的实验也印证了这一点。大多数 token 的权重仍然接近 1，说明 STEER 不会大面积削弱学习信号；只有那些会带来剧烈熵变化的 token，才会被明显降权。换句话说，它不是让模型停止学习，而是让模型不要被少数剧烈更新带偏。

即使在几乎不施加 clipping 约束的极端设置下，STEER 仍能将策略熵维持在相对稳定的区间，既避免快速坍缩，也避免过度升熵。

从熵动态到任务表现，数学代码任务稳定提升

STEER 的作用不仅体现在熵动态更稳定，也体现在最终任务表现上。

在数学推理任务中，STEER 在六个基准上都取得了稳定提升。以 Qwen2.5-Math-7B 为例，其平均分达到 48.6，超过标准 GRPO 的 44.2，也超过 OPO、Clip-Cov 等强基线。

在代码任务中，STEER 同样带来稳定收益。例如在 Qwen2.5-Coder-14B 上，代码编辑性能从 42.6 提升到 45.1，LiveCodeBench v5 从 29.3 提升到 31.8。

除了主实验，论文还在不同模型规模、模型家族和 RLVR 算法上进行了验证。从 Qwen 到 Llama、Mistral，从 GRPO 到 RLOO、OPO，STEER 都表现出稳定收益，说明它并不依赖某个特定 benchmark、模型或训练算法。

这一结果也与前文的机制分析一致：STEER 不是简单追求更高的熵，而是稳定每一步训练中的 token-level 熵变。这样，模型既能继续强化已有的有效推理路径，也能避免探索空间被过早收缩。

总结

这项工作的核心价值，在于把 RLVR 中的熵坍缩拆解到 token 更新这一粒度：每一次更新如何改变局部分支，最终如何影响整棵推理树的展开或收缩。沿着这一视角，熵坍缩不再只是训练曲线上的现象，而成为可以被分析、解释和调控的训练动态。

本文的第一作者为郝哲正，现为浙江大学计算机学院博士研究生，研究方向聚焦于 Coding Agent 及其后训练。本文的共同第一作者为王泓，现为腾讯 CodeBuddy 团队青云计划研究员，研究方向聚焦于 Agent Harness 与 Auto-research。

本文的指导老师为董汉德和陈佳伟。董汉德，腾讯技术专家，腾讯 CodeBuddy 大模型研发负责人。在大模型领域具有丰富的研究和落地经验，包括大模型训练、智能体等细分领域。陈佳伟，浙江大学计算机学院 “百人计划” 研究员，博士生导师，于 2020 年获得浙江大学计算机科学与技术博士学位，曾师从陈纯院士、何向南教授，主要致力于推荐系统、大语言模型、智能体等领域的研究，谷歌学术引用超 6000 次，特别是在用户行为分析与建模方面取得了一系列成果，曾获 SIGIR 2023 最佳论文提名奖（CCF-A 类）、WSDM 2025 最佳论文奖（清华 A 类），多项成果也在快手、抖音、蚂蚁、省公安等企事业单位落地应用，服务于上亿用户。

文章来自于"机器之心"，作者 "郝哲正"。