搜索
a16z 昨天发了一张图，把 GLM-5 和 Claude Opus 4.6 并排标注在 Artificial Analysis Intelligence Index 的时间线上。原文的说法是： A proprietary model (Claude Opus 4.6) is still the 'most intelligent,' but the gap between
2026 年刚拉开序幕，大模型（LLM）领域的研究者们似乎达成了一种默契。 当你翻开最近 arXiv 上最受关注的几篇论文，会发现一个高频出现的词汇：Self-Distillation。
最近硅谷的一个本地Agent项目也很有关注度，而且是软硬件打包好，买回来就能直接用的那种。长这样子，卖250美元（折合人民币约1700元），买来插上电就能当OpenClaw用。
在计算机科学领域， CSRankings 曾被视为一次划时代的改进。它摒弃了早期诸如 USNews 那样依赖调查问卷的主观排名体系，转而以论文发表数量这一客观指标来评估各大学的科研实力。
目前，最先进的对齐方法是使用知识蒸馏（Knowledge Distillation, KD）在所有 token 上最小化 KL 散度。然而，最小化全局 KL 散度并不意味着 token 的接受率最大化。由于小模型容量受限，草稿模型往往难以完整吸收目标模型的知识，导致直接使用蒸馏方法的性能提升受限。在极限场景下，草稿模型和目标模型的巨大尺寸差异甚至可能导致训练不收敛。
今天要讲的On-Policy Distillation（同策略/在线策略蒸馏）。这是一个Thinking Machines整的新活，这个新策略既有强化学习等在线策略方法的相关性和可靠性；又具备离线策略（Off-policy）方法的数据效率。
刚刚，不发论文、爱发博客的 Thinking Machines Lab （以下简称 TML）再次更新，发布了一篇题为《在策略蒸馏》的博客。在策略蒸馏（on-policy distillation）是一种将强化学习 (RL) 的纠错相关性与 SFT 的奖励密度相结合的训练方法。在将其用于数学推理和内部聊天助手时，TML 发现在策略蒸馏可以极低的成本超越其他方法。
语言模型遭遇严重的位置偏见，即模型对不同上下⽂位置的敏感度不⼀致。模型倾向于过度关注输⼊序列中的特定位置，严重制约了它们在复杂推理、⻓⽂本理解以及模型评估等关键任务上的表现。
生成式 AI 正在重写 3D 内容的生产流程：从“DCC 工具 + 外包”的线性供给，演进到“资产规模化生成 + 管线可用”的指数供给模式。过去五年，技术范式经历了从实时体积渲染，NeRF，到Score Distillation，3D扩散的快速迭代；需求侧则由游戏与影视，向3D 打印、电商样机、数字人、教育培训、以及AR/VR等长尾场景外溢。
大语言模型（LLM）不仅在推动通用自然语言处理方面发挥了关键作用，更重要的是，它们已成为支撑多种下游应用如推荐、分类和检索的核心引擎。尽管 LLM 具有广泛的适用性，但在下游任务中高效部署仍面临重大挑战。