大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升近年来，「思维链（Chain of Thought，CoT）」成为大模型推理的显学，但要让小模型也拥有长链推理能力却非易事。
来自主题: AI技术研报
7296 点击 2025-05-04 17:08
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近年来，「思维链（Chain of Thought，CoT）」成为大模型推理的显学，但要让小模型也拥有长链推理能力却非易事。
当前，AI 领域呈现出一种近乎“追星式”的热情氛围，每当有新的东西发布，便迅速引发广泛关注与高度评价，仿佛技术变革即将一触即发。同时大家情绪也波动剧烈，从“危机论”到“爆发论”频繁切换。OpenAI 最近出的《A Practical guide to building AI agents》的指南，就是他们最近捧上天的“神作”。它直接被捧成了“圣经”，一时间风头无两。
GPT - 4o、Deepseek - R1 等高级模型已展现出令人惊叹的「深度思考」能力：理解上下文关联、拆解多步骤问题、甚至通过思维链（Chain - of - Thought）进行自我验证、自我反思等推理过程。
4月7日，斯坦福以人为本人工智能研究所（HAI）发布《2025年AI指数报告》，这份长达456页的报告，全景展示了过去一年AI领域的关键进展。
2025年斯坦福HAI报告重磅发布，456页深度剖析全球AI领域的最新趋势：中美顶级模型性能差距缩至0.3%，以DeepSeek为代表的模型强势崛起，逼近闭源巨头；推理成本暴降，小模型性能飙升，AI正变得更高效、更普惠。
最近，像 OpenAI o1/o3、DeepSeek-R1 这样的大型推理模型（Large Reasoning Models，LRMs）通过加长「思考链」（Chain-of-Thought，CoT）在推理任务上表现惊艳。
你是否曾对着一个繁复的AI框架，无奈地想："真有必要搞得这么复杂吗？"在与臃肿框架斗争一年后，Zachary Huang博士决定大刀阔斧地革新，剔除所有花里胡哨的部分。于是Pocket Flow诞生了——一个仅有100行代码的超轻量级大语言模型框架！
AI的运作始终笼罩着一层神秘的「黑箱」迷雾。这种不透明让AI有时会「胡说八道」，甚至故意撒谎。Anthropic刚刚推出了一项突破性研究，用类似大脑扫描的技术，深入Claude 3.5 Haiku的「脑子」，揭开了它运行的一些秘密。
当你想将tool带入一个你无法控制的Agent时，MCP就是有用的。
2024 年 9 月，我们第一次去 Haivivi 北京办公室和 CEO 李勇见面。在交谈的两小时里，他不断被会议室外的员工提醒看手机。