搜索
几个小时前，Barret Zoph 在 𝕏 上发了一条推文，他说自己将加入谷歌 DeepMind，而他的 AI 生涯正是从谷歌 Brain 的 Residency 项目起步的，这次算是重返旧地；他将专注于强化学习（RL）与后训练（Post-Training）方向，更多消息稍后公布；他还补了一句，谷歌拥有在 AI 领域持续成功所需要的全部要素，他很高兴能成为这个使命的一部分。
香港大学李弘扬团队联合华为、上海创智学院及清华大学李升波教授团队，发表的最新论文World Engine: Towards the Era of Post-Training for Autonomous Driving给出了系统回答。
当下的大模型后训练（Post-training）pipeline 中，On-Policy Distillation（OPD）已经成为了明星技术。从 Qwen3、MiMo 到 GLM-5，业界纷纷采用 OPD 并报告了巨大的性能提升。相比于强化学习（RL）稀疏的结果奖励，OPD 提供了密集的 Token 级别监督信号，看起来就像是一顿「免费的午餐」。
随着大模型后训练（Post-training）技术的发展，强化学习（RL）在提升模型推理能力方面的表现备受瞩目。
在推理后训练里，多数方法仍依赖奖励模型、验证器或额外教师信号。如果不依赖这些外部信号，只使用模型自身生成的答案进行自训练，是否仍然能够提升推理能力？是的！SePT（Self-evolving Post-Training）给出肯定答案，简洁的自训练方法，可在数学推理任务准确率直升10个点！
一年前，DeepSeek R1 横空出世，人们才意识到，真正让模型产生推理能力质变的，不必是更大的预训练规模 —— 后训练，用强化学习、过程奖励、闭环反馈，以极低的代价解锁了原本需要数倍算力才能触达的能力边界。
OpenAI的人才地震还在继续！刚刚，前研究副总裁Max Schwarzer宣布离职，这位亲手主导o1、o3和整个GPT-5系列post-training的核心人物，选择加入Anthropic，重返一线RL研究。
在当今的大模型后训练（Post-training）阶段，DPO（直接偏好优化） 凭借其无需训练独立 Reward Model 的优雅设计和高效性，成功取代 PPO 成为业界的 「版本之子」，被广泛应用于 Llama-3、Mistral 等顶流开源模型的对齐中。
对于电子产品，我们已然习惯了「出厂即巅峰」的设定：开箱的那一刻往往就是性能的顶点，随后的每一天都在折旧。
继轻量级强化学习（RL）框架 slime 在社区中悄然流行并支持了包括 GLM-4.6 在内的大量 Post-training 流水线与 MoE 训练任务之后，LMSYS 团队正式推出 Miles——一个专为企业级大规模 MoE 训练及生产环境工作负载设计的强化学习框架。