后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述
后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。
来自主题: AI技术研报
7355 点击 2025-05-02 14:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。
就在刚刚，DeepSeek-Prover-V2技术报告也来了！34页论文揭秘了模型的训练核心——递归+强化学习，让数学推理大提升。有人盛赞：DeepSeek已找到通往AGI的正确路径！
AI能像人类一样不断从经验中学习、进化，而不仅仅依赖于人工标注的数据？测试时强化学习(TTRL)与记忆系统的结合正在开启这一全新可能！
一项来自清华大学和上海交通大学的研究颠覆了对可验证奖励强化学习（RLVR）的认知。RLVR被认为是打造自我进化大模型的关键，但实验表明，它可能只是提高了采样效率，而非真正赋予模型全新推理能力。
最近，DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展（length scaling），通过强化学习（比如 PPO、GPRO）训练模型生成很长的推理链（CoT），并在奥数等高难度推理任务上取得了显著的效果提升。
全球首个去中心化强化学习训练的32B模型——INTELLECT-2震撼发布！无需授权，就能用自家异构计算资源参与其中，让编码、数学与科学领域的推理性能迈向新高度。
本文提出 LUFFY 强化学习方法，一种结合离线专家示范与在线强化学习的推理训练范式，打破了“模仿学习只学不练、强化学习只练不学”的传统壁垒。LUFFY 通过将高质量专家示范制定为一种离策略指引，并引入混合策略优化与策略塑形机制，稳定地实现了在保持探索能力的同时高效吸收强者经验。
什么开源算法自称为DeepSeek-R1（-Zero） 框架的第一个复现？
谷歌DeepMind与HHMI Janelia研究所的科学家们，用AI打造了一个栩栩如生的虚拟果蝇模型。这个模型不仅能精准模拟果蝇的飞行与行走，还通过深度强化学习模仿真实果蝇的行为。
无需数据标注，在测试时做强化学习，模型数学能力暴增159%！