用扩散模型写代码，不仅像开了倍速，改起来还特别灵活！ 字节Seed最新发布扩散语言模型Seed Diffusion Preview，这款模型主要聚焦于代码生成领域，它的特别之处在于采用了离散状态扩散技术，在推理速度上表现出色。
扩散语言模型（Diffusion-based LLMs，简称 dLLMs）以其并行解码、双向上下文建模、灵活插入masked token进行解码的特性，成为一个重要的发展方向。
本文主要介绍 xML 团队的论文：Discrete Diffusion in Large Language and Multimodal Models: A Survey。
谁说扩散模型只能生成图像和视频？现在它们能高质量地写代码了，速度还比传统大模型更快！Inception Labs推出基于扩散技术的全新商业级大语言模型——Mercury。
最近，扩散语言模型（dLLM）有点火。现在，苹果也加入这片新兴的战场了。
本文介绍的工作由中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团共同完成。朱峰琪、王榕甄、聂燊是中国人民大学高瓴人工智能学院的博士生，导师为李崇轩副教授。
近段时间，已经出现了不少基于扩散模型的语言模型，而现在，基于扩散模型的视觉-语言模型（VLM）也来了，即能够联合处理视觉和文本信息的模型。今天我们介绍的这个名叫 LaViDa，继承了扩散语言模型高速且可控的优点，并在实验中取得了相当不错的表现。
首个用于加速扩散式大语言模型（diffusion-based Large Language Models, 简称 dLLMs）推理过程的免训练方法。
近年来，思维链在大模型训练和推理中愈发重要。近日，西湖大学 MAPLE 实验室齐国君教授团队首次提出扩散式「发散思维链」—— 一种面向扩散语言模型的新型大模型推理范式。该方法将反向扩散过程中的每一步中间结果都看作大模型的一个「思考」步骤，然后利用基于结果的强化学习去优化整个生成轨迹，最大化模型最终答案的正确率。
块离散去噪扩散语言模型（BD3-LMs）结合自回归模型和扩散模型的优势，解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成，利用键值缓存提升效率，并通过优化噪声调度降低训练方差，达到扩散模型中最高的预测准确性，同时生成效率和质量优于其他扩散模型。
