大模型RL不止数学代码！7B奖励模型搞定医学法律经济全学科， 不用思维链也能做题
大模型RL不止数学代码！7B奖励模型搞定医学法律经济全学科， 不用思维链也能做题一个7B奖励模型搞定全学科，大模型强化学习不止数学和代码。
来自主题: AI技术研报
8578 点击 2025-04-03 09:58
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
一个7B奖励模型搞定全学科，大模型强化学习不止数学和代码。
DeepSeek-R1 的成功离不开一种强化学习算法：GRPO（组相对策略优化）。
在视觉强化学习中，许多方法未考虑序列决策过程，导致所学表征缺乏关键的长期信息的空缺被填补上了。
由于 DeepSeek R1 和 OpenAI o1 等推理模型（LRM，Large Reasoning Model）带来了新的 post-training scaling law，强化学习（RL，Reinforcement Learning）成为了大语言模型能力提升的新引擎。然而，针对大语言模型的大规模强化学习训练门槛一直很高：
强化学习提升了 LLM 各方面的能力，而强化学习本身也在进化。
注意看，机器人像人一样从容地走出大门了！人形机器人独角兽Figure，再次带来他们的新成果——利用强化学习实现自然人形行走。跟之前版本的机器人相比，确实更像人了许多，而且步态更加轻盈，速度也更快。
虽然大多数强化学习（RL）方法都在使用浅层多层感知器（MLP），但普林斯顿大学和华沙理工的新研究表明，将对比 RL（CRL）扩展到 1000 层可以显著提高性能，在各种机器人任务中，性能可以提高最多 50 倍。
波士顿动力的Atlas机器人又双叒叕来了！从最初的液压「电缆尾巴」到现在全电动AI增强版，这个机器人不仅会翻跟头、跳街舞，还学会了倒立侧翻，甚至开始「进厂打工」搬零件。动作捕捉技术与强化学习的加持，让Atlas的动作越来越像人类，而它的目标也从炫技转向实用。
本文介绍了Search-R1技术，这是一项通过强化学习训练大语言模型进行推理并利用搜索引擎的创新方法。实验表明，Search-R1在Qwen2.5-7B模型上实现了26%的性能提升，使模型能够实时获取准确信息并进行多轮推理。本文详细分析了Search-R1的工作原理、训练方法和实验结果，为AI产品开发者提供了重要参考。
近年来，深度学习技术在自动驾驶、计算机视觉、自然语言处理和强化学习等领域取得了突破性进展。然而，在现实场景中，传统单目标优化范式在应对多任务协同优化、资源约束以及安全性 - 公平性权衡等复杂需求时，逐渐暴露出其方法论的局限性。