近年来，diffusion Transformers已经成为了现代视觉生成模型的主干网络。随着数据量和任务复杂度的进一步增加，diffusion Transformers的规模也在快速增长。然而在模型进一步扩大的过程中，如何调得较好的超参（如学习率）已经成为了一个巨大的问题，阻碍了大规模diffusion Transformers释放其全部的潜能。
在 3D 重建领域，无论是 NeRF 还是最新的 3D Gaussian Splatting（3DGS），在生成逼真新视角时仍面临一个核心难题：视角一旦偏离训练相机位置，图像就容易出现模糊、鬼影、几何错乱等伪影，严重影响实际应用。
扩散模型在视频合成任务中取得了显著成果，但其依赖迭代去噪过程，带来了巨大的计算开销。尽管一致性模型（Consistency Models）在加速扩散模型方面取得了重要进展，直接将其应用于视频扩散模型却常常导致时序一致性和外观细节的明显退化。
三维场景是构建世界模型、具身智能等前沿科技的关键环节之一。
扩散模型风头正盛，何恺明最新论文也与此相关。 研究的是如何把扩散模型和表征学习联系起来—— 给扩散模型加上“整理收纳”功能，使其内部特征更加有序，从而生成效果更加自然逼真的图片。
本文介绍的工作由中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团共同完成。朱峰琪、王榕甄、聂燊是中国人民大学高瓴人工智能学院的博士生，导师为李崇轩副教授。
在人工智能领域，跨模态生成（如文本到图像、图像到文本）一直是技术发展的前沿方向。现有方法如扩散模型（Diffusion Models）和流匹配（Flow Matching）虽取得了显著进展，但仍面临依赖噪声分布、复杂条件机制等挑战。
上个月 21 号，Google I/O 2025 开发者大会可说是吸睛无数，各种 AI 模型、技术、工具、服务、应用让人目不暇接。在这其中，Gemini Diffusion 绝对算是最让人兴奋的进步之一。从名字看得出来，这是一个采用了扩散模型的 AI 模型，而这个模型却并非我们通常看到的扩散式视觉生成模型，而是一个地地道道的语言模型！
近段时间，已经出现了不少基于扩散模型的语言模型，而现在，基于扩散模型的视觉-语言模型（VLM）也来了，即能够联合处理视觉和文本信息的模型。今天我们介绍的这个名叫 LaViDa，继承了扩散语言模型高速且可控的优点，并在实验中取得了相当不错的表现。
当状态空间模型遇上扩散模型，对世界模型意味着什么？
