大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升近年来，「思维链（Chain of Thought，CoT）」成为大模型推理的显学，但要让小模型也拥有长链推理能力却非易事。
来自主题: AI技术研报
7987 点击 2025-05-04 17:08
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近年来，「思维链（Chain of Thought，CoT）」成为大模型推理的显学，但要让小模型也拥有长链推理能力却非易事。
当前，AI 领域呈现出一种近乎“追星式”的热情氛围，每当有新的东西发布，便迅速引发广泛关注与高度评价，仿佛技术变革即将一触即发。同时大家情绪也波动剧烈，从“危机论”到“爆发论”频繁切换。OpenAI 最近出的《A Practical guide to building AI agents》的指南，就是他们最近捧上天的“神作”。它直接被捧成了“圣经”，一时间风头无两。
GPT - 4o、Deepseek - R1 等高级模型已展现出令人惊叹的「深度思考」能力：理解上下文关联、拆解多步骤问题、甚至通过思维链（Chain - of - Thought）进行自我验证、自我反思等推理过程。
最近，像 OpenAI o1/o3、DeepSeek-R1 这样的大型推理模型（Large Reasoning Models，LRMs）通过加长「思考链」（Chain-of-Thought，CoT）在推理任务上表现惊艳。
你是否曾对着一个繁复的AI框架，无奈地想："真有必要搞得这么复杂吗？"在与臃肿框架斗争一年后，Zachary Huang博士决定大刀阔斧地革新，剔除所有花里胡哨的部分。于是Pocket Flow诞生了——一个仅有100行代码的超轻量级大语言模型框架！
当你想将tool带入一个你无法控制的Agent时，MCP就是有用的。
DeepSeek MoE“变体”来了，200美元以内，内存需求减少17.6-42%！ 名叫CoE（Chain-of-Experts），被认为是一种“免费午餐”优化方法，突破了MoE并行独立处理token、整体参数数量较大需要大量内存资源的局限。
在大语言模型 (LLM) 的研究中，与以 Chain-of-Thought 为代表的逻辑思维能力相比，LLM 中同等重要的 Leap-of-Thought 能力，也称为创造力，目前的讨论和分析仍然较少。这可能会严重阻碍 LLM 在创造力上的发展。造成这种困局的一个主要原因是，面对「创造力」，我们很难构建一个合适且自动化的评估流程。
OpenAI o1和DeepSeek-R1靠链式思维（Chain-of-Thought, CoT）展示了超强的推理能力，但这一能力能多大程度地帮助视觉推理，又应该如何细粒度地评估视觉推理呢？
DeepSeek-R1这样的推理模型有着强大的深度思考能力，但也有着一些不同于通用模型的特点与用法，比如不支持函数调用，不支持结构化输出，o1甚至不支持系统提示(System Prompt)等。尽管这和它们的使用场景有关，但有时也会带来不便。今天我们就来说说结构化输出这个常见的问题。