开启RL Scaling新纪元，siiRL开源：完全分布式强化学习框架，支持超千卡规模高效训练
开启RL Scaling新纪元，siiRL开源：完全分布式强化学习框架，支持超千卡规模高效训练还在为强化学习（RL）框架的扩展性瓶颈和效率低下而烦恼吗？
来自主题: AI技术研报
7461 点击 2025-07-30 10:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
还在为强化学习（RL）框架的扩展性瓶颈和效率低下而烦恼吗？
陈建宇（星动纪元创始人）、高阳（千寻智能联合创始人）、吴翼（蚂蚁集团强化学习实验室首席科学家）、许华哲（星海图联合创始人）的分享（题图从左至右），基本代表了国内具身智能领域最先进的成果展示。
新一代大型推理模型，如 OpenAI-o3、DeepSeek-R1 和 Kimi-1.5，在复杂推理方面取得了显著进展。该方向核心是一种名为 ZERO-RL 的训练方法，即采用可验证奖励强化学习（RLVR）逐步提升大模型在强推理场景 (math, coding) 的 pass@1 能力。
在正式走近ChatGPT Agent之前，让我们介绍一下这次谈话的几位主角，他们分别是OpenAI团队核心成员Isa Fulford、Casey Chu和孙之清。我们团队分别开发了Operator和Deep Research，在分析用户请求时发现，Deep Research的用户非常希望模型能够访问需要付费订阅的内容或有门槛的资源，而Operator恰好具备这种能力。
我们知道，训练大模型本就极具挑战，而随着模型规模的扩大与应用领域的拓展，难度也在不断增加，所需的数据更是海量。大型语言模型（LLM）主要依赖大量文本数据，视觉语言模型（VLM）则需要同时包含文本与图像的数据，而在机器人领域，视觉 - 语言 - 行动模型（VLA）则要求大量真实世界中机器人执行任务的数据。
本文的主要作者来自复旦大学和南洋理工大学 S-Lab，研究方向聚焦于视觉推理与强化学习优化。
实时强化学习来了！AI 再也不怕「卡顿」。 设想这样一个未来场景：多个厨师机器人正在协作制作煎蛋卷。
从 ChatGPT 引发的通用聊天机器人热潮，到如今正迅猛发展的智能体模型，AI 正在经历一次深刻的范式转变：从被动响应的「语言模型」，走向具备自主决策能力的「智能体」。我们也正在进入所谓的「经验时代」或「软件 3.0 时代」。
如今，强化学习（Reinforcement Learning，RL）在多个领域已取得显著成果。
强化学习改变了大语言模型的后训练范式，可以说，已成为AI迈向AGI进程中的关键技术节点。然而，其中奖励模型的设计与训练，始终是制约后训练效果、模型能力进一步提升的瓶颈所在。