1.5B推理模型新SOTA，RL训练新解法打破「简单题过拟合、难题学不动」的魔咒
1.5B推理模型新SOTA，RL训练新解法打破「简单题过拟合、难题学不动」的魔咒QuestA（问题增强）引入了一种方法，用于提升强化学习中的推理能力。通过在训练过程中注入部分解题提示，QuestA 实现两项重大成果
来自主题: AI技术研报
7061 点击 2025-10-06 13:54
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
QuestA（问题增强）引入了一种方法，用于提升强化学习中的推理能力。通过在训练过程中注入部分解题提示，QuestA 实现两项重大成果
近年来，以强化学习为核心的训练方法显著提升了大语言模型（Large Language Models, LLMs）的推理能力与对齐性能，尤其在理解人类意图、遵循用户指令以及增强推理能力方面效果突出。尽管现有综述对强化学习增强型 LLMs 进行了概述，但其涵盖范围较为有限，未能全面总结强化学习在 LLMs 全生命周期中的作用机制。
蚂蚁通用人工智能中心自然语言组联合香港大学自然语言组（后简称“团队”）推出PromptCoT 2.0，要在大模型下半场押注任务合成。实验表明，通过“强起点、强反馈”的自博弈式训练，PromptCoT 2.0可以让30B-A3B模型在一系列数学代码推理任务上实现新的SOTA结果，达到和DeepSeek-R1-0528, OpenAI o3, Gemini 2.5 Pro等相当的表现。
当全世界都在狂热追逐大模型时，强化学习之父、图灵奖得主Richard Sutton却直言：大语言模型是「死胡同」。在他看来，真正的智能必须源于经验学习，而不是模仿人类语言的「预测游戏」。这番话无异于当头一棒，让人重新思考：我们追逐的所谓智能，究竟是幻影，还是通向未来的歧路？
结合RLHF+RLVR，8B小模型就能超越GPT-4o、媲美Claude-3.7-Sonnet。陈丹琦新作来了。他们提出了一个结合RLHF和RLVR优点的方法，RLMT（Reinforcement Learning with Model-rewarded Thinking，基于模型奖励思维的强化学习）。
Anthropic、OpenAI等大厂，正计划每年投入10亿美元，教会AI像人类一样工作。他们不仅为AI提供强化学习环境（RL environment，简称gym），还让AI「偷师」各领域专家。OpenAI高管预言，未来「整个经济」，将在某种程度上变成一台「RL机器」。
行业首个具备“高刷”视频理解能力的多模态模型MiniCPM-V 4.5的技术报告正式发布！报告提出统一的3D-Resampler架构实现高密度视频压缩、面向文档的统一OCR和知识学习范式、可控混合快速/深度思考的多模态强化学习三大技术。
浙江大学与通义实验室Mobile-Agent团队在UI-R1的基础上，推出全新研究成果——UI-S1，提出了一种名为半在线强化学习（Semi-online Reinforcement Learning）的创新训练范式。
监督微调（SFT）和强化学习（RL）微调是大模型后训练常见的两种手段。通过强化学习微调大模型在众多 NLP 场景都取得了较好的进展，但是在文本分类场景，强化学习未取得较大的进展，其表现往往不如监督学习。
CBD 算法则是快手商业化算法团队在本月初公布的新方法，全名 Causal auto-Bidding method based on Diffusion completer-aligner，即基于扩散式补全器-对齐器的因果自动出价方法。