「重要性采样」并不「重要」？快手清华ASPO攻克重要性采样权重错配
「重要性采样」并不「重要」？快手清华ASPO攻克重要性采样权重错配从ChatGPT到DeepSeek，强化学习（Reinforcement Learning, RL）已成为大语言模型（LLM）后训练的关键一环。
来自主题: AI技术研报
6216 点击 2025-10-18 11:41
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
从ChatGPT到DeepSeek，强化学习（Reinforcement Learning, RL）已成为大语言模型（LLM）后训练的关键一环。
在多模态大模型的后训练浪潮中，强化学习驱动的范式已成为提升模型推理与通用能力的关键方向。
当强化学习（RL）成为大模型后训练的核心工具，「带可验证奖励的强化学习（RLVR）」凭借客观的二元反馈（如解题对错），迅速成为提升推理能力的主流范式。从数学解题到代码生成，RLVR 本应推动模型突破「已知答案采样」的局限，真正掌握深度推理逻辑 —— 但现实是，以 GRPO 为代表的主流方法正陷入「均值优化陷阱」。
当全球的目光还在聚焦基座模型的参数竞赛时，一场更为深刻的变革正在悄然发生——后训练（Post-Training）。
既然后训练这么重要，那么作为初学者，应该掌握哪些知识？大家不妨看看这篇博客《Post-training 101》，可以很好的入门 LLM 后训练相关知识。从对下一个 token 预测过渡到指令跟随； 监督微调（SFT） 基本原理，包括数据集构建与损失函数设计；
OpenAI的后训练负责人和DeepMind的另一位AI4S大佬，双双离职并成立了一家AI4S公司Periodic Labs，专注于用AI Agent改造传统科研，助力攻克室温超导等世纪难题。目前该公司已获3亿美元融资。
监督微调（SFT）和强化学习（RL）微调是大模型后训练常见的两种手段。通过强化学习微调大模型在众多 NLP 场景都取得了较好的进展，但是在文本分类场景，强化学习未取得较大的进展，其表现往往不如监督学习。
为了回答这一问题，来自牛津大学、Meta 超级智能实验室等机构的研究者提出设想：推理计算是否可以替代缺失的监督？本文认为答案是肯定的，他们提出了一种名为 CaT（Compute as Teacher）的方法，核心思想是把推理时的额外计算当作教师信号，在缺乏人工标注或可验证答案时，也能为大模型提供监督信号。
在多模态大模型的基座上，视觉 - 语言 - 动作（Visual-Language-Action, VLA）模型使用大量机器人操作数据进行预训练，有望实现通用的具身操作能力。
近期，AI营销公司橙果视界（PhotoG母公司）宣布完成数千万元新一轮融资，由云天使基金领投，力合创投和金沙江联合资本跟投。本轮融资将用于进一步扩大行业数据规模，推进垂直行业后训练模型迭代，进一步加快全链路营销智能体在多行业的业务落地，持续探索能感知、决策、创造并执行的商业大脑。