图文大模型通常采用「预训练 + 监督微调」的两阶段范式进行训练，以强化其指令跟随能力。受语言领域的启发，多模态偏好优化技术凭借其在数据效率和性能增益方面的优势，被广泛用于对齐人类偏好。目前，该技术主要依赖高质量的偏好数据标注和精准的奖励模型训练来提升模型表现。然而，这一方法不仅资源消耗巨大，训练过程仍然极具挑战。
推理增强型大语言模型LRM（如OpenAI的o1、DeepSeek R1和Google的Flash Thinking）通过在生成最终答案前显式生成中间推理步骤，在复杂问题解决方面展现了卓越性能。然而，对这类模型的控制仍主要依赖于传统的输入级操作，如提示工程（Prompt Engineering）等方法，而你可能已经发现这些方法存在局限性。
最近，像 OpenAI o1/o3、DeepSeek-R1 这样的大型推理模型（Large Reasoning Models，LRMs）通过加长「思考链」（Chain-of-Thought，CoT）在推理任务上表现惊艳。
随着DeepSeek R1、OpenAI GTP-4o、Antropic Claude3.7、xAI Grok3纷至沓来，AI大模型已然变成巨头的游戏，“百模大战”也成为了过去式。到了2025年，让用户先把AI用起来，也已经成为了一众厂商的共识。
刚刚开源的新基准测试PaperBench，6款前沿大模型驱动智能体PK复现AI顶会论文，新版Claude-3.5-Sonnet显著超越o1/r1排名第一。与去年10月OpenAI考验Agent机器学习代码工程能力MLE-Bnch相比，PaperBench更考验综合能力，不再是只执行单一任务。
国产全自研高性能RISC-V服务器芯片“灵羽”，刚刚在深圳亮相。
众所周知，DeepSeek R1 这种模型在推理任务上很能打，尤其是在数学和编程这些逻辑性强的领域。那么我们能直接把这种强大的推理能力搬到 DeepSearch 这种需要动态规划、多轮交互的深度搜索场景里吗？
DeepSeek又卷起来了！上周刚出的DeepSeek-V3-0324在大模型竞技场排名中，打败了自己的DeepSeek-R1，成为开源AI至尊。
DeepSeek-R1 的成功离不开一种强化学习算法：GRPO（组相对策略优化）。
由于 DeepSeek R1 和 OpenAI o1 等推理模型（LRM，Large Reasoning Model）带来了新的 post-training scaling law，强化学习（RL，Reinforcement Learning）成为了大语言模型能力提升的新引擎。然而，针对大语言模型的大规模强化学习训练门槛一直很高：
