上海AI Lab新研究：SFT能泛化，只要满足这三个条件
上海AI Lab新研究：SFT能泛化，只要满足这三个条件随着大模型后训练（Post-training）技术的发展，强化学习（RL）在提升模型推理能力方面的表现备受瞩目。
来自主题: AI技术研报
8852 点击 2026-05-13 09:59
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
随着大模型后训练（Post-training）技术的发展，强化学习（RL）在提升模型推理能力方面的表现备受瞩目。
近日，原力灵机开源的具身智能原生框架 Dexbotic 宣布正式支持以 RLinf 作为其分布式强化学习后端。对具身智能开发者而言，这不仅是一次普通的工程适配，更意味着 VLA 模型研发中长期存在的「SFT 与 RL 割裂」问题，正在被真正打通。
没有训练梯度的AI，打破了Atari游戏满分纪录。OpenAI核心研究员翁家翌提出了一个强化学习新范式——启发式学习（Heuristic Learning, HL）。
大模型时代的「炼金术师」们，或许都曾面临一个共同的困扰：当我们试图将 DeepSeek-R1、OpenAI-o1 那种惊艳的推理能力迁移到小规模语言模型（SLMs）时，效果却总是差强人意。现有的强化学习方法如 GRPO 在 7B+ 的大模型上效果显著，但一旦应用到 1.7B 甚至更小参数的模型上，性能提升就微乎其微。
用强化学习（RL）优化文生图模型的 prompt following 能力，是一条被广泛验证的路径 —— 让模型根据 prompt 用不同随机种子生成多张图片，通过 reward model 计算 reward，再利用相关 RL 算法优化模型。
智元机器人的办公室里，最近员工们一上班就能看到机器人熟练地切着水果：这么全面的能力是如何做到的？答案是直接在真实环境中搞大规模分布式强化学习训练。它们使用的是全新的具身智能训练范式：面向通用机器人策略的分布式多机强化学习（LWD）。这一套技术捅破了当前VLA的「天花板」。
AlphaGo 之父 David Silver 创办的 Ineffable Intelligence 获 11 亿美元种子轮，创欧洲融资纪录，估值达 51 亿美元。这家公司押注强化学习和自我经验学习，试图挑战依赖 Scaling Law 的大模型主线。
理想汽车信息智能体团队发布 MindDR 1.5，在 DeepResearch Bench 榜单中取得 52.54 分，以 30B 参数规模达到业界领先水平，性能优于同等规模的开源智能体系统。
一年前，DeepSeek R1 横空出世，人们才意识到，真正让模型产生推理能力质变的，不必是更大的预训练规模 —— 后训练，用强化学习、过程奖励、闭环反馈，以极低的代价解锁了原本需要数倍算力才能触达的能力边界。
当强化学习后训练的大规模 rollout 已经被证明能够提升图像生成模型的偏好对齐能力，推理负担就成了制约训练速度的核心瓶颈。来自 NVIDIA、港大和 MIT 的团队提出的 Sol-RL，通过「FP4 先探索、BF16 再训练」的后训练框架，将达到等效 reward 水平的收敛速度最高提升到 4.64x，在训练速度与对齐效果之间给出了一条更具工程可行性的解法。