被拒≠失败！这些高影响力论文都被顶会拒收过
被拒≠失败！这些高影响力论文都被顶会拒收过近日，Waymo 发布了一篇深度博客，详细介绍了该公司的 AI 战略以及以 Waymo 基础模型为核心的整体 AI 方法。
来自主题: AI技术研报
7041 点击 2025-12-11 16:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，Waymo 发布了一篇深度博客，详细介绍了该公司的 AI 战略以及以 Waymo 基础模型为核心的整体 AI 方法。
今年以来，开源项目LightX2V 及其 4 步视频生成蒸馏模型在 ComfyUI 社区迅速走红，单月下载量超过 170 万次。越来越多创作者用它在消费级显卡上完成高质量视频生成，把“等几分钟出一段视频”变成“边看边出片”。
前些天，一项「AI 传心术」的研究在技术圈炸开了锅：机器不用说话，直接抛过去一堆 Cache 就能交流。让人们直观感受到了「去语言化」的高效，也让机器之心那条相关推文狂揽 85 万浏览量。参阅报道《用「传心术」替代「对话」，清华大学联合无问芯穹、港中文等机构提出 Cache-to-Cache 模型通信新范式》。
目前，最先进的对齐方法是使用知识蒸馏（Knowledge Distillation, KD）在所有 token 上最小化 KL 散度。然而，最小化全局 KL 散度并不意味着 token 的接受率最大化。由于小模型容量受限，草稿模型往往难以完整吸收目标模型的知识，导致直接使用蒸馏方法的性能提升受限。在极限场景下，草稿模型和目标模型的巨大尺寸差异甚至可能导致训练不收敛。
今天要讲的On-Policy Distillation（同策略/在线策略蒸馏）。这是一个Thinking Machines整的新活，这个新策略既有强化学习等在线策略方法的相关性和可靠性；又具备离线策略（Off-policy）方法的数据效率。
刚刚，不发论文、爱发博客的 Thinking Machines Lab （以下简称 TML）再次更新，发布了一篇题为《在策略蒸馏》的博客。在策略蒸馏（on-policy distillation）是一种将强化学习 (RL) 的纠错相关性与 SFT 的奖励密度相结合的训练方法。在将其用于数学推理和内部聊天助手时，TML 发现在策略蒸馏可以极低的成本超越其他方法。
马斯克的终极设想，正在成形。今天，特斯拉放出了「世界模拟器」震撼演示。一个神经网络，每天狂吞500年人类驾驶经验，并在无限的虚拟世界中自我进化。同款AI大脑，擎天柱也可共用。
数据集蒸馏是一种用少量合成数据替代全量数据训练模型的技术，能让模型高效又节能。WMDD和GUARD两项研究分别解决了如何保留原始数据特性并提升模型对抗扰动能力的问题，使模型在少量数据上训练时既准确又可靠。
1.58bit量化，内存仅需1/10，但表现不输FP16？ 微软最新推出的蒸馏框架BitNet Distillation（简称BitDistill），实现了几乎无性能损失的模型量化。
本文介绍了一种用高数据效率强化学习算法 SAC 训练流策略的新方案，可以端到端优化真实的流策略，而无需采用替代目标或者策略蒸馏。SAC FLow 的核心思想是把流策略视作一个 residual RNN，再用 GRU 门控和 Transformer Decoder 两套速度参数化。