AI进入推理模型时代，一文带你读懂思维链
AI进入推理模型时代，一文带你读懂思维链近段时间，推理模型 DeepSeek R1 可说是 AI 领域的头号话题。用过的都知道，该模型在输出最终回答之前，会先输出一段思维链内容。这样做可以提升最终答案的准确性。
来自主题: AI技术研报
7797 点击 2025-03-16 14:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
近段时间，推理模型 DeepSeek R1 可说是 AI 领域的头号话题。用过的都知道，该模型在输出最终回答之前，会先输出一段思维链内容。这样做可以提升最终答案的准确性。
大模型架构研究进展太快，数据却快要不够用了，其中问题数据又尤其缺乏。
不怕推理模型简单问题过度思考了，能动态调整CoT的新推理范式SCoT来了！
如今的前沿推理模型，学会出来的作弊手段可谓五花八门，比如放弃认真写代码，开始费劲心思钻系统漏洞！为此，OpenAI研究者开启了「CoT监控」大法，让它的小伎俩被其他模型戳穿。然而可怕的是，这个方法虽好，却让模型变得更狡猾了……
杜克大学计算进化智能中心的最新研究给出了警示性答案。团队提出的 H-CoT（思维链劫持）的攻击方法成功突破包括 OpenAI o1/o3、DeepSeek-R1、Gemini 2.0 Flash Thinking 在内的多款高性能大型推理模型的安全防线：在涉及极端犯罪策略的虚拟教育场景测试中，模型拒绝率从初始的 98% 暴跌至 2% 以下，部分案例中甚至出现从「谨慎劝阻」到「主动献策」的立场反转。
推理模型在复杂任务上表现惊艳，缺点是低下的token效率。UCSD清华等机构的研究人员发现，问题根源在于模型的「自我怀疑」！研究团队提出了Dynasor-CoT，一种无需训练、侵入性小且简单的方法。
基于内置思维链的思考方法为解决多轮会话中存在的问题提供了研究方向。按照思考方法收集训练数据集，通过有监督学习微调大语言模型；训练一个一致性奖励模型，并将该模型用作奖励函数，以使用强化学习来微调大语言模型。结果大语言模型的推理能力和计划能力，以及执行计划的能力得到了增强。
OpenAI o1和DeepSeek-R1靠链式思维（Chain-of-Thought, CoT）展示了超强的推理能力，但这一能力能多大程度地帮助视觉推理，又应该如何细粒度地评估视觉推理呢？
近日，微软和剑桥大学公布推理新方法：多模态思维可视化MVoT。新方法可以边推理，边「想象」，同时利用文本和图像信息学习，在实验中比CoT拥有更好的可解释性和稳健性，复杂情况下甚至比CoT强20%。还可以与CoT组合，进一步提升模型性能。
图像生成模型，也用上思维链（CoT）了！此外，作者还提出了两种专门针对该任务的新型奖励模型——潜力评估奖励模型。（Potential Assessment Reward Model，PARM）及其增强版本PARM++。