OpenAI爆出硬伤，强化学习是祸首！o3越强越「疯」，幻觉率狂飙
OpenAI爆出硬伤，强化学习是祸首！o3越强越「疯」，幻觉率狂飙o3编码直逼全球TOP 200人类选手，却存在一个致命问题：幻觉率高达33%，是o1的两倍。Ai2科学家直指，RL过度优化成硬伤。
来自主题: AI技术研报
7887 点击 2025-04-21 09:41
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
o3编码直逼全球TOP 200人类选手，却存在一个致命问题：幻觉率高达33%，是o1的两倍。Ai2科学家直指，RL过度优化成硬伤。
还在用搜索和规则训练AI游戏？现在直接「看回放」学打宝可梦了！德州大学奥斯汀分校的研究团队用Transformer和离线强化学习打造出一个智能体，不靠规则、没用启发式算法，纯靠47.5万场人类对战回放训练出来，居然打上了Pokémon Showdown全球前10%！
港中文和清华团队推出Video-R1模型，首次将强化学习的R1范式应用于视频推理领域。通过升级的T-GRPO算法和混合图像视频数据集，Video-R1在视频空间推理测试中超越了GPT-4o，展现了强大的推理能力，并且全部代码和数据集均已开源。
近年来，大语言模型（LLMs）的对齐研究成为人工智能领域的核心挑战之一，而偏好数据集的质量直接决定了对齐的效果。无论是通过人类反馈的强化学习（RLHF），还是基于「RL-Free」的各类直接偏好优化方法（例如 DPO），都离不开高质量偏好数据集的构建。
Figure公司通过强化学习，成功实现机器人的自然步态。利用高效物理模拟器，仅用几小时完成相当于多年训练的数据，训练出的策略无需额外调整即可「零样本」迁移至真实机器人。
今天早些时候，著名研究者和技术作家 Sebastian Raschka 发布了一条推文，解读了一篇来自 Wand AI 的强化学习研究，其中分析了推理模型生成较长响应的原因。
尽管这些论文的结论统统指向了强化学习带来的显著性能提升，但来自图宾根大学和剑桥大学的研究者发现，强化学习导致的许多「改进」可能只是噪音。「受推理领域越来越多不一致的经验说法的推动，我们对推理基准的现状进行了严格的调查，特别关注了数学推理领域评估算法进展最广泛使用的测试平台之一 HuggingFaceH4，2024；AI - MO。」
人和智能体共享奖励参数，这才是强化学习正确的方向？
基于规则的强化学习（RL/RFT）已成为替代 SFT 的高效方案，仅需少量样本即可提升模型在特定任务中的表现。
Q-Insight不再简单地让模型拟合人眼打分，而是将评分视作一种引导信号，促使模型深度思考图像质量的本质原因。有了会思考的“大脑”，视频云技术栈不仅得以重塑也让用户体验有了跃迁。