o1开启LLM新范式，Ai2科学家解析背后秘籍：推理和强化学习是关键
o1开启LLM新范式，Ai2科学家解析背后秘籍：推理和强化学习是关键关注NLP领域的人们，一定好奇「语言模型能做什么？」「什么是o1？」「为什么思维链有效？」
来自主题: AI技术研报
6761 点击 2025-02-04 20:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
关注NLP领域的人们，一定好奇「语言模型能做什么？」「什么是o1？」「为什么思维链有效？」
2028年，预计高质量数据将要耗尽，数据Scaling走向尽头。2025年，测试时计算将开始成为主导AI通向通用人工智能（AGI）的新一代Scaling Law。近日，CMU机器学习系博客发表新的技术文章，从元强化学习（meta RL）角度，详细解释了如何优化LLM测试时计算。
就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证「啊哈时刻」！全球AI大模型，或许正在进入下一分水岭。
就在本周，Kimi 的新模型打开了强化学习 Scaling 新范式，DeepSeek R1 用开源的方式「接班了 OpenAI」，谷歌则把 Gemini 2.0 Flash Thinking 的上下文长度延伸到了 1M。1 月 24 日上午，百川智能重磅发布了国内首个全场景深度思考模型，把这一轮军备竞赛推向了高潮。
中国版o1刷屏全网。DeepSeek R1成为世界首个能与o1比肩的开源模型，成功秘诀竟是强化学习，不用监督微调。AI大佬们一致认为，这就是AlphaGo时刻。
来了来了，月之暗面首个「满血版o1」来了！这是除OpenAI之外，首次有多模态模型在数学和代码能力上达到了满血版o1的水平。
清华大学团队在强化学习领域取得重大突破
OpenAI o1 给大模型规模扩展 vs 性能的曲线带来了一次上翘。它在大模型领域重现了当年 AlphaGo 强化学习的成功 —— 给越多算力，就输出越多智能，一直到超越人类水平。
OpenAI o1和o3模型的发布证明了强化学习能够让大模型拥有像人一样的快速迭代试错、深度思考的高阶推理能力，在基于模仿学习的Scaling Law逐渐受到质疑的今天，基于探索的强化学习有望带来新的Scaling Law。
OpenAI o1和o3模型的秘密，竟传出被中国研究者「破解」？今天，复旦等机构的这篇论文引起了AI社区的强烈反响，他们从强化学习的角度，分析了实现o1的路线图，并总结了现有的「开源版o1」。