数据集蒸馏是一种用少量合成数据替代全量数据训练模型的技术，能让模型高效又节能。WMDD和GUARD两项研究分别解决了如何保留原始数据特性并提升模型对抗扰动能力的问题，使模型在少量数据上训练时既准确又可靠。
1.58bit量化，内存仅需1/10，但表现不输FP16？ 微软最新推出的蒸馏框架BitNet Distillation（简称BitDistill），实现了几乎无性能损失的模型量化。
本文介绍了一种用高数据效率强化学习算法 SAC 训练流策略的新方案，可以端到端优化真实的流策略，而无需采用替代目标或者策略蒸馏。SAC FLow 的核心思想是把流策略视作一个 residual RNN，再用 GRU 门控和 Transformer Decoder 两套速度参数化。
Meta 超级智能实验室、伦敦大学学院、Mila、Anthropic 等机构的研究者进行了探索。从抽象层面来看，他们将 LLM 视为其「思维」的改进操作符，实现一系列可能的策略。研究者探究了一种推理方法家族 —— 并行 - 蒸馏 - 精炼（Parallel-Distill-Refine, PDR），
一句话概括，还在嫌弃RAG太慢？这帮研究员直接把检索数据库"蒸馏"成了一个小模型，实现了不检索的检索增强，堪称懒人福音。
网友在推特上爆料，一位Mistral离职女员工群发邮件，直指公司多项黑幕。其中最劲爆的就是：Mistral最新模型疑似直接蒸馏自DeepSeek，却对外包装成RL成功案例，并刻意歪曲基准测试结果。
AI视频生成进入了秒生极速时代！UCSD等机构发布的FastWan系模型，在一张H200上，实现了5秒即生视频。稀疏蒸馏，让去噪时间大减，刷新SOTA。
7月底 Black Forest Labs 和 Krea 合作开发的高级文本到图像生成模型 Flux.1 Krea Dev，最近终于有时间进行测评了。Flux.1 Krea Dev 是基于FLUX.1 dev 模型进行蒸馏的，参数规模12B，专注于提升图像的美学和真实感，避免了常见的 AI 生成痕迹（过度饱和或不自然高光等等），更倾向于追求自然细节、照片级真实感和多样性。
在人工智能模型规模持续扩大的今天，数据集蒸馏（Dataset Distillation,DD）方法能够通过使用更少的数据，达到接近完整数据的训练效果，提升模型训练效率，降低训练成本。
无需蒸馏任何大规模语言模型，小模型也能自给自足、联合提升？
