让AI像人类画家一样边画边想，港中文&美团让模型「走一步看一步」
让AI像人类画家一样边画边想，港中文&美团让模型「走一步看一步」在文生图（Text-to-Image）和视频生成领域，以FLUX.1、Emu3为代表的扩散模型与自回归模型已经能生成极其逼真的画面。
来自主题: AI技术研报
10051 点击 2025-12-22 16:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在文生图（Text-to-Image）和视频生成领域，以FLUX.1、Emu3为代表的扩散模型与自回归模型已经能生成极其逼真的画面。
尽管扩散模型在单图像生成上已经日渐成熟，但当任务升级为高度定制化的多实例图像生成（Multi-Instance Image Generation, MIG）时，挑战随之显现：
过去三年，扩散模型席卷图像生成领域。以 DiT (Diffusion Transformer) 为代表的新一代架构不断刷新图像质量的极限，让模型愈发接近真实世界的视觉规律。
前段时间，我们在 HuggingFace 页面发现了两个新模型：LLaDA2.0-mini 和 LLaDA2.0-flash。它们来自蚂蚁集团与人大、浙大、西湖大学组成的联合团队，都采用了 MoE 架构。前者总参数量为 16B，后者总参数量则高达 100B—— 在「扩散语言模型」这个领域，这是从未见过的规模。
新加坡国立大学 LV Lab（颜水成团队） 联合电子科技大学、浙江大学等机构提出 FeRA (Frequency-Energy Constrained Routing) 框架：首次从频域能量的第一性原理出发，揭示了扩散去噪过程具有显著的「低频到高频」演变规律，并据此设计了动态路由机制。
从“在线训练”到“离线建图”，扩散模型速度再突破！
当前，视频生成模型性能正在快速提升，尤其是基于Transformer架构的DiT模型，在视频生成领域的表现已经逐渐接近真实拍摄效果。然而，这些扩散模型也面临一个共同的瓶颈：推理时间长、算力成本高、生成速度难以提升。随着视频生成长度持续增加、分辨率不断提高，这个瓶颈正在成为影响视频创作体验的主要障碍之一。
图像与视频重光照（Relighting）技术在计算机视觉与图形学中备受关注，尤其在电影、游戏及增强现实等领域应用广泛。当前，基于扩散模型的方法能够生成多样且可控的光照效果，但其优化过程通常依赖于语义空间，而语义上的相似性无法保证视觉空间中的物理合理性，导致生成结果常出现高光过曝、阴影错位、遮挡关系错误等不合理现象。
扩散概率生成模型（Diffusion Models）已成为AIGC时代的重要基础，但其推理速度慢、训练与推理之间的差异大，以及优化困难，始终是制约其广泛应用的关键问题。近日，被NeurIPS 2025接收的一篇重磅论文EVODiff给出了全新解法：来自华南理工大学曾德炉教授「统计推断，数据科学与人工智能」研究团队跳出了传统的数值求解思维，首次从信息感知的推理视角，将去噪过程重构为实时熵减优化问题。
扩散式语言模型（Diffusion Language Model, DLM）虽近期受关注，但社区长期受限于（1）缺乏易用开发框架与（2）高昂训练成本，导致多数 DLM 难以在合理预算下复现，初学者也难以真正理解其训练与生成机制。