后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述
后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。
来自主题: AI技术研报
7444 点击 2025-05-02 14:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。
最近，DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展（length scaling），通过强化学习（比如 PPO、GPRO）训练模型生成很长的推理链（CoT），并在奥数等高难度推理任务上取得了显著的效果提升。
当前，强化学习（RL）方法在最近模型的推理任务上取得了显著的改进，比如 DeepSeek-R1、Kimi K1.5，显示了将 RL 直接用于基础模型可以取得媲美 OpenAI o1 的性能不过，基于 RL 的后训练进展主要受限于自回归的大语言模型（LLM），它们通过从左到右的序列推理来运行。
近年来，随着大型语言模型（LLMs）的快速发展，多模态理解领域取得了前所未有的进步。像 OpenAI、InternVL 和 Qwen-VL 系列这样的最先进的视觉-语言模型（VLMs），在处理复杂的视觉-文本任务时展现了卓越的能力。
高质量数据枯竭，传统预训练走向终点，大模型如何突破瓶颈？
港中文、清华等高校提出SICOG框架，通过预训练、推理优化和后训练协同，引入自生成数据闭环和结构化感知推理机制，实现模型自我进化，为大模型发展提供新思路。
刚刚，DeepSeek官方发布DeepSeek-V3模型更新技术报告。V3新版本在数学、代码类相关评测集成绩超过GPT-4.5！而且这只是通过改进后训练方法实现。DeepSeek-V3-0324和之前的DeepSeek-V3使用同样的base模型。
OpenAI 又有重量级员工出走！这次是后训练负责人、研究副总裁 William Fedus。今天凌晨，Fedus 在 X 上发表了一则公开离职信，讲述了他离职的原因以及今后的去向。
DeepSeek热潮将在预训练、后训练（二次训练）和推理三大细分市场都带来巨大改变。
离开OpenAI后，他们俩把ChatGPT后训练方法做成了PPT，还公开了～