可微奖励就该直接微调！用HJB方程颠覆流匹配对齐｜NeurIPS'25
可微奖励就该直接微调！用HJB方程颠覆流匹配对齐｜NeurIPS'25用强化学习微调扩散模型，还有更好的办法吗？
来自主题: AI技术研报
7341 点击 2026-03-11 09:23
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
用强化学习微调扩散模型，还有更好的办法吗？
NUS、ZJU、UW、Stanford、CUHK 联合提出 「ThinkMorph」，主张让文字与图像在统一架构里「原生协作」、「共同演化」，而不是像当下大多数多模态模型那样，看完图像就闭上眼睛，后续完全靠文字链条推进。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩甚至超越 GPT-4o 和 Gemini 2.5 Flash。
近日， Anthropic 和斯坦福研究者 Neil Rathi 与这位传奇研究者联合发布了一篇新论文，并得到了一些相当惊人的新发现。在这项研究中，他们挑战了当前大模型安全领域的一个核心假设。长期以来，业界普遍认为要在模型发布后通过 RLHF 或微调来限制其危险行为。但 Neil Rathi 和 Alec Radford 提出了一种更本质的解法：
全球最大游戏博主 PewDiePie，又整活了。他靠着「偷师」DeepSeek、清华大学发布的技术文档，用一堆魔改显卡成功微调出一个自己的 AI 模型，而这个模型在编程基准测试中的表现，竟然超越了 GPT-4 和 Gemini 2.5 Pro。
过去几年，大模型把自然语言处理彻底重塑了。GPT 出来之前，NLP 领域的状态是：每个任务一套模型，每个场景一批数据，每个公司一条流水线，互不通用，边界清晰。GPT 之后，这套逻辑被一个预训练底座 + 任务微调的范式整个替换掉了。
以DeepSeek R1为代表的一系列基于强化学习（RLVR）微调的工作，显著提升了大语言模型的推理能力。但在这股浪潮背后，强化微调的代价却高得惊人。
目前，人形机器人已经能在现实中跳舞、奔跑、甚至完成后空翻。但接下来更关键的问题是：这些系统能否在部署之后持续地进行强化学习 —— 在真实世界的反馈中变得更稳定、更可靠，并在分布不断变化的新环境里持续适应与改进？
大模型的能力正在被不同的范式逐步解锁：In-Context Learning 展示了模型无需微调即可泛化到新任务；Chain-of-Thought 通过引导模型分步推理来提升复杂问题的求解能力；近期，智能体框架则赋予模型调用工具、多轮交互的能力。
大模型持续学习，又有新进展！
过去两年，大模型的推理能力出现了一次明显的跃迁。在数学、逻辑、多步规划等复杂任务上，推理模型如 OpenAI 的 o 系列、DeepSeek-R1、QwQ-32B，开始稳定拉开与传统指令微调模型的差距。直观来看，它们似乎只是思考得更久了：更长的 Chain-of-Thought、更高的 test-time compute，成为最常被引用的解释。