「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据
「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据什么样的思维链，能「教会」学生更好地推理？
来自主题: AI技术研报
9595 点击 2026-01-28 10:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
什么样的思维链，能「教会」学生更好地推理？
我们都在System Prompt里写过无数次 You are a helpful assistant，但你是否想过：这行文字在模型的残差流（Residual Stream）中究竟对应着怎样的几何结构？
过去几年，机制可解释性（Mechanistic Interpretability）让研究者得以在 Transformer 这一 “黑盒” 里追踪信息如何流动、表征如何形成：从单个神经元到注意力头，再到跨层电路。但在很多场景里，研究者真正关心的不只是 “模型为什么这么答”，还包括 “能不能更稳、更准、更省，更安全”。
随着大模型能力的跃迁，业界关注点正在从 “模型能不能做” 快速转向 “智能体能不能落地”。过去一年可以看到大量工作在提升智能体的有效性（effectiveness）：如何让它更聪明、更稳、更会用工具、更能完成复杂任务。
Attention真的可靠吗？
在 LLM 时代，思维链（ CoT）已成为解锁模型复杂推理能力的关键钥匙。然而，CoT 的冗长问题一直困扰着研究者——中间推理步骤和解码操作带来了巨大的计算开销和显存占用，严重制约了模型的推理效率。
大模型持续学习，又有新进展！
思维导图曾被证明可以帮助学习障碍者快速提升成绩，那么当前已经可堪一用的智能体系统如果引入类似工具是否可以帮助改善长期学习记忆能力呢？有研究团队做出了探索性尝试。
近日，北京大学朱毅鑫教授课题组、北京大学毕彦超教授课题组和山西医科大学第一医院王效春团队通过结合 AI 模型和大脑损伤患者的数据，发现语言其实是一副无形的智能眼镜，时刻在悄悄修饰着我们看到的世界。我们可能以为视觉就是眼睛看到什么就是什么，但是这项成果说明了视觉从来都不是孤立的。事实上，当我们在看图片的时候，其实不只是在看，而是在进行被语言调制过的看。
过去两年，大模型的推理能力出现了一次明显的跃迁。在数学、逻辑、多步规划等复杂任务上，推理模型如 OpenAI 的 o 系列、DeepSeek-R1、QwQ-32B，开始稳定拉开与传统指令微调模型的差距。直观来看，它们似乎只是思考得更久了：更长的 Chain-of-Thought、更高的 test-time compute，成为最常被引用的解释。