突破算力瓶颈！港大俞益洲团队发布首篇「高效视频世界模型」全面综述

还记得两年前，AI 生视频可谓是「鬼畜专区」—— 人物多一根手指算基操，走路自带鬼步舞才是常态。结果转眼间，从 OpenAI 的 Sora 到字节跳动的 Seedance，这些模型已经开始一本正经地「模拟世界」了：水会流、球会弹、光影能追踪，俨然一副要当「物理引擎」的架势。

研究人员也越来越相信，视频生成模型不只是个「特效师」，更有潜力成为理解物理规律的世界模型（World Models）—— 一条通向通用人工智能（AGI）的硬核赛道。

然而，在这一广阔前景之前，仍存在着一个极其严峻的挑战：计算成本与速度。

视频生成模型要作为世界模拟器，需要维持长期的时空一致性、遵守物理约束，并支持高分辨率的交互式生成。但高维度的视频数据和复杂的物理动态导致了海量的计算开销，使得模型陷入了「长时一致性」「实时高可用」与「物理准确性」难以兼得的「不可能三角」。

现有文献大多聚焦于视频生成的一般性进展，却鲜有工作系统性地探讨「如何通过提升效率来成就真正的世界模型」。

在这篇最新的综述中，港大俞益洲团队首次聚焦于「高效性」（Efficiency）这一决定视频生成器能否成功转化为实用世界模型的关键先决条件，从理论潜力与庞大计算成本之间的鸿沟出发，系统且全面地梳理了高效视频世界模型的发展脉络、关键技术与最新进展。

• 论文地址：https://arxiv.org/abs/2603.28489或https://huggingface.co/papers/2603.28489

具体来说，团队从高效建模范式、高效模型架构和高效推理算法三个维度对现有工作进行了分类分析，并进一步探讨了这些高效技术如何赋能下游的应用领域，包括自动驾驶、具身智能、游戏与交互等。

团队详尽地梳理了以下核心内容。

高效建模范式（Efficient Modeling）

该部分重点探讨了从视频生成问题最基本的建模范式出发，如何将模型从短片段生成扩展到支持长周期、交互式的世界建模。包括：

• 扩散模型蒸馏（Diffusion Model Distillation）：通过步数缩减、一致性蒸馏和对抗性蒸馏等方法，将采样步数压缩至几步甚至单步，大幅降低生成延迟；
• 自回归与混合方法（Auto-Regressive & Hybrid AR-Diffusion）：使用自回归（AR）模型或结合 AR 和 Diffusion，旨在实现长周期推理能力，保持高保真度；还包括一类将扩散过程流式因果化的方法。

高效模型架构（Efficient Architectures）

架构设计是缓解时空冗余和 attention 机制平方计算复杂度的最直接方法。涵盖了四大方向：

• 层次化与 VAE 设计（Hierarchical & VAE Designs）：通过粗到细（Coarse-to-fine）的级联生成降低计算成本，或通过高效的 VAE 设计实现隐空间压缩和降维；
• 长上下文与记忆机制（Long Context & Memory Mechanisms）：引入视觉记忆、空间记忆（如 3D 点云 / 网格）、上下文压缩或隐式模型记忆（测试时训练），以维持长周期的物理与逻辑一致性；
• 高效注意力机制（Efficient Attention）：利用稀疏注意力、窗口注意力、线性注意力乃至状态空间模型（如 Mamba）来替代昂贵的全局注意力；
• 外推与 RoPE 技术（Extrapolation and RoPE）：通过位置编码的优化，实现无需训练的长序列外推生成。

高效推理算法（Efficient Inference）

面向数十亿参数级大模型的实际部署，团队总结了四类关键的推理优化策略：

• 并行化（Parallelism）：分布式推理（空间、序列及流水线并行）；
• 缓存机制（Caching）：利用扩散模型相邻去噪步之间的时空冗余进行特征复用；
• 剪枝（Pruning）：包含 token 级合并 / 丢弃，以及网络架构（channel、layer 级）剪枝；
• 量化（Quantization）：以 8bit、4bit 部署，涵盖从注意力机制量化到训练后量化（PTQ）与量化感知训练（QAT）、及时间维度的动态量化策略。

赋能应用（Applications）

团队详细分析了高效技术如何直接推动视频世界模型在三大核心领域的应用：

1.自动驾驶（Autonomous Driving）：让 AI 司机在「脑内驾校」练到毕业

这大概是视频世界模型最刚需的战场。综述从三个维度梳理了它的打法：

• 一是数据合成 ——现实世界里，「鬼探头」、极端天气等长尾场景可遇不可求，但世界模型可以批量「脑补」出来，给感知和规划模型当训练素材（代表作如 GAIA 系列、MagicDrive-V2）；
• 二是闭环交互模拟 —— 把世界模型当虚拟考场，AI 在里面不断试驾、犯错、学习，形成「生成 — 评估 — 重训」的飞轮（如 Vista、ADriver-I 实现了「在 AI 生成的虚拟世界里无限开车」）；
• 三是生成式规划 —— 模型在脑中「想象」多条未来轨迹，挑最优的那条执行，相当于让自动驾驶系统拥有了「先在脑子里过一遍」的能力（如 Drive-WM、DriveLAW 等将视频生成与动作规划共享同一个隐空间）。

2.具身智能（Embodied AI）：给机器人装一个「物理直觉」 

机器人领域最头疼的问题之一就是数据 —— 真实环境数据采集成本高、分布窄。

视频世界模型在这里扮演了三重角色：

首先是数据引擎，比如 GigaWorld-0 通过文本引导真实视频编辑来扩充训练数据，DreamGen 用世界模型的「想象」直接生成轨迹级监督信号，GenMimic 甚至把人类运动视频「迁移」到人形机器人上做强化学习；

其次是交互式模拟器，机器人可以在世界模型生成的虚拟环境里安全试错（如 Ctrl-World、DreamDojo）；

最值得关注的是生成式策略学习 ——GR-1 在大规模视频上预训练再迁移到机器人操作，Fast-WAM 更是提出了 WAM（World Action Model）范式的关键证据：世界模型的增益主要来自视频联合训练塑造的物理表征，而非推理时的显式「想象」。仅 15M 参数的 LeWorldModel 则证明，小而精的隐空间世界模型也能实现高效规划。

3.游戏与交互式世界模拟（Game & Interactive Simulation）：AI 当上了「游戏引擎」

游戏天然提供了闭环交互接口和可控评测环境，是世界模型的理想试验田。

GameGen-X 把键盘鼠标操作注入生成过程，Matrix-Game 2.0 在 GTA5 和虚幻引擎数据上训练，实现了约 25 FPS 的交互生成和分钟级长序列滚动推演。DreamerV4 则用世界模型充当强化学习的虚拟训练场，让智能体在「脑内世界」练习复杂的长程任务。

更通用的方向上，WorldPlay 主打高分辨率实时生成，Yume1.5 通过上下文压缩和蒸馏降低长序列延迟，开源项目 LingBot-World 则将分层语义数据引擎与多阶段训练结合，追求低延迟交互与长期记忆的统一。 

此外，团队也分析了 talking head、实时互动创作、3D/4D 场景等领域的相关工作。

总的来说，尽管视频生成在分辨率、拟真度、时长等方面取得了令人瞩目的突破，但要赋予模型真正的物理推理和环境模拟能力，仍面临着巨大的算力挑战。

在这方面，将多角度效率优化与视频生成的时空属性深度结合，展现出了不可替代的价值。

为此，团队首次基于「面向高效性」（Efficiency-oriented） 的视角，对视频世界模型进行了全景式的综述。

通过系统整理模型范式、架构创新到高效推理的各个环节，我们厘清了该领域的发展脉络与关键方法，还指出了当前存在的关键局限（如长时间生成的误差累积、物理一致性困境等）以及未来的潜在突破口。

团队希望本篇综述能为广大研究人员带来新的启发，共同推动视频生成模型向着通用、实时且鲁棒的物理世界模拟器迈出坚实的一步。

文章来自于"机器之心"，作者 "何沐阳、郭瀚中、林俊雄"。