还记得两年前，AI 生视频可谓是「鬼畜专区」—— 人物多一根手指算基操，走路自带鬼步舞才是常态。结果转眼间，从 OpenAI 的 Sora 到字节跳动的 Seedance，这些模型已经开始一本正经地「模拟世界」了：水会流、球会弹、光影能追踪，俨然一副要当「物理引擎」的架势。
视频世界模型跑久了容易“散架”——要么人不动了，要么场景崩了。
近期，利用视频生成模型为机器人构建 “世界模型”，已成为具身智能领域的热门技术路线。给定当前观测和自然语言指令，这类模型能够先 “想象” 出未来的视觉轨迹，再由逆动力学模型（IDM）将生成画面解码为机器人动作，从而形成 “先预测、后执行” 的解耦式规划范式。由于兼具较强的可解释性与开放场景泛化潜力，这一路线正在受到学术界和工业界的广泛关注。
谢赛宁团队的最新视频世界模型 Solaris，首个多人视频世界模型，能够同时生成多个玩家之间保持一致的第一视角。研究团队发现，目前的视频世界模型仅能处理单人视角，这并不能反映现实世界的真实运作方式，希望能够能够实现多人同步观察一个统一世界。于是，研究团队把视角投向了电子游戏。
视频世界模型领域又迎来了新的突破！
围绕这一挑战，上海人工智能实验室联合复旦大学、南京大学、南洋理工大学 S-Lab 等单位提出了 LongVie 2—— 一个能够生成长达 5 分钟高保真、可控视频的世界模型框架。
AI生成的人物和场景转头就变样，缺乏一致性？ nonono，这回不一样了，康康下面的demo！ 游戏地图：《塞尔达传说》中的绿色田野
要让视频生成模型真正成为模拟真实物理世界的「世界模型」，必须具备长时间生成并保留场景记忆的能力。然而，交互式长视频生成一直面临一个致命短板：缺乏稳定的场景记忆。镜头稍作移动再转回，眼前景物就可能「换了个世界」。
2018 年，LSTM 之父 Jürgen Schmidhuber 在论文中（ Recurrent world models facilitate policy evolution ）推广了世界模型（world model）的概念，这是一种神经网络，它能够根据智能体过去的观察与动作，预测环境的未来状态。
JEPA-2（V-JEPA 2）是Meta最新推出的视频世界模型，采用视图嵌入预测（Joint Embedding Predictive Architecture）框架进行自监督预训练。
