美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈
美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈多模态推理，也可以讲究“因材施教”？
来自主题: AI技术研报
6354 点击 2025-07-21 15:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态推理，也可以讲究“因材施教”？
现有Mobile/APP Agent的工作可以适应实时环境，并执行动作，但由于它们大部分都仅依赖于动作级奖励（SFT或RL）。
近年来，链式推理和强化学习已经被广泛应用于大语言模型，让大语言模型的推理能力得到了显著提升。
大幅缓解LLM偏科，只需调整SFT训练集的组成。
「尽管经过 SFT 的模型可能看起来在进行推理，但它们的行为更接近于模式模仿 —— 一种缺乏泛化推理能力的伪推理形式。」
本文深入梳理了围绕DeepSeek-R1展开的多项复现研究，系统解析了监督微调（SFT）、强化学习（RL）以及奖励机制、数据构建等关键技术细节。
当前，强化学习（RL）方法在最近模型的推理任务上取得了显著的改进，比如 DeepSeek-R1、Kimi K1.5，显示了将 RL 直接用于基础模型可以取得媲美 OpenAI o1 的性能不过，基于 RL 的后训练进展主要受限于自回归的大语言模型（LLM），它们通过从左到右的序列推理来运行。
基于规则的强化学习（RL/RFT）已成为替代 SFT 的高效方案，仅需少量样本即可提升模型在特定任务中的表现。
让大语言模型更懂特定领域知识，有新招了！
在面对复杂的推理任务时，SFT往往让大模型显得力不从心。最近，CMU等机构的华人团队提出了「批判性微调」（CFT）方法，仅在 50K 样本上训练，就在大多数基准测试中优于使用超过200万个样本的强化学习方法。