在GSM8K上比GRPO快8倍！厦大提出CPPO，让强化学习快如闪电
在GSM8K上比GRPO快8倍！厦大提出CPPO，让强化学习快如闪电DeepSeek-R1 的成功离不开一种强化学习算法：GRPO（组相对策略优化）。
来自主题: AI技术研报
5670 点击 2025-04-01 16:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
DeepSeek-R1 的成功离不开一种强化学习算法：GRPO（组相对策略优化）。
其实大模型在DeepSeek-V3时期就已经「顿悟」了？
大语言模型（LLM）在推理领域的最新成果表明了通过扩展测试时计算来提高推理能力的潜力，比如 OpenAI 的 o1 系列。
没有任何冷启动数据，7B 参数模型能单纯通过强化学习学会玩数独吗？
GRPO训练又有新的工具链可以用，这次来自于ModelScope魔搭社区。
32B小模型在超硬核「时间线索」推理谜题中，一举击败了o1、o3-mini、DeepSeek-R1，核心秘密武器便是GRPO，最关键的是训练成本暴降100倍。
GRPO（Group Relative Policy Optimization）是 DeepSeek-R1 成功的基础技术之一，我们之前也多次报道过该技术，比如《DeepSeek 用的 GRPO 占用大量内存？有人给出了些破解方法》。
自 DeepSeek-R1 发布以来，群组相对策略优化（GRPO）因其有效性和易于训练而成为大型语言模型强化学习的热门话题。R1 论文展示了如何使用 GRPO 从遵循 LLM（DeepSeek-v3）的基本指令转变为推理模型（DeepSeek-R1）。
"Deepseek R1不就是一个参数更大的语言模型吗？随便问问题就行了，还需要什么特殊技巧？"——当你说出这句话时，是否意识到自己正像《西游记》里高举紫金葫芦的妖怪，对着齐天大圣叫嚣："我叫你的名字，你敢答应吗？"