欢迎来到 Transformer 的世界。
两个月前,我们对 AI 游戏的认知刚刚被谷歌 GameNGen 颠覆。他们实现了历史性的突破,从此不再需要游戏引擎,AI 能基于扩散模型,为玩家生成实时可玩的游戏。
GameNGen 一出,从此,开发者不必再手动编程,价值 2000 亿美元的全球游戏产业,都将被彻底颠覆。无论什么类型的游戏,都可以想你所想、懂你所懂,幻化出只属于你的独享世界。这样的论调瞬间铺满了 AI 圈。
当时,游戏界最热的除了《黑神话:悟空》,就是米哈游创始人蔡浩宇的犀利发言:「AI 颠覆游戏开发,建议大部分游戏开发者赶快转行。」
没想到,只过了两个月,新的里程碑就来了,AI 实时生成游戏不再只是「只可远观不可亵玩」的 demo,直接就能上手体验。
昨天,两家初创公司 Etched、 Decart AI 联手,带来了世界上首个实时生成的 AI 游戏 Oasis,你在其中体验到的每一帧都来自扩散模型的实时预测,游戏画面持续以 20 帧每秒的速度实时渲染,零延迟。
更重要的是,所有代码和模型权重均已开源。
AI 能够精确模拟出高质量的图形和复杂的实时交互,这一切的到来快得令人措手不及,看到的网友都有点错愕:难道我们没穿越到《黑客帝国》中的矩阵世界吗?
AI 领域的专家而言也都在关注 Oasis。FlashAttention 作者,普林斯顿助理教授 Tri Dao 等诸多大佬纷纷点赞:「很快模型推理就会变得非常便宜,我们的许多娱乐内容都将由人工智能生成」。
不过既然是游戏,我们就要以游戏的要求来对它进行评价。
话不多说,我们立马上手试玩了一下。果然,重要的事情起码要说三遍 —— 这是世界上第一款 AI 实时生成的游戏。这刚进入界面,就收到了 Oasis 的提醒:「请注意,你做出的每一步都将决定整个世界的走向」。
这可一下子把期待值拉满了。游戏的内容能够实时自我塑造,这意味着这个世界里的一举一动都完全以你为主,与你有关,玩家不需要再遵循固定的模式和任务,因为每一秒都是 AI 为你量身定制的惊喜。
从海岸、村庄、森林、沙漠等地形中选择一个,就能正式开启体验了。(由于 Oasis 太过火爆,想真玩上还要排一会儿队,算力有限,每位使用者限时体验五分钟。)
终于挤进去之后,Oasis 这个游戏却让人有点看不懂了,这不就是《我的世界》吗?
比《幻兽帕鲁》还有既视感。
「这样做真的没有版权问题吗?」
很多试玩的人也有同感:「告诉 AI:参考《我的世界》做一个游戏,把 UI 改改就行。」
AI:下载《我的世界》,启动!
不过照《我的世界》的玩法继续搭房子,Oasis 帮忙生成出来的牛棚倒是可圈可点。毕竟,这次驱动游戏的不是设定好的逻辑和程序,只有一个 AI 模型。
把栅栏放在另一个栅栏旁边的动作,看起来只需要一步,但模型其实悄咪咪地完成了识别你点击的是栅栏,它要和其他物体放在一起应该如何排列,这个画面要如何呈现等等的复杂转化。
不过相比它的预测能力,记忆应该是 Oasis 的短板,比如画面左边原来有座山,但是再把视线转回去,就会发现山已经消失了。
而像 Sora,或者同样都旨在模拟物理世界的其他视频模型,在把「镜头」平移回来之后就没有这种明显的记忆损失。对此,有网友猜测是牺牲了参数数量来换取实时的推理速度。
虽然官方声称游戏的操作是 0 延迟的,但是使用鼠标操控起来有点困难,就像有一股神秘的力量在影响鼠标和电脑之间的连接。想要点击背包中某一格的物品,总会识别到其他格中。并且游戏中的文字,有一种梦核的意味,好像有点轮廓,却怎么也看不清楚。
这位网友的形容很贴切:「开始的时候,我以为是《我的世界》,后来亲自尝试过之后,这是吃了菌子再玩的《我的世界》。」
作为 Oasis 的技术支持,Etched、 Decart AI 都发布了技术博客,其中 Decart AI 主要负责训练模型,Etched 提供算力。
模型由两部分组成:一个空间自编码器和一个潜在扩散模型结构。这两部分都基于 Transformer 模型:自编码器基于 ViT,而主干则基于 DiT。与最近的基于动作的世界模型如 GameNGen 和 DIAMOND 不同,Oasis 的研究团队选择了 Transformer 来确保稳定、可预测的扩展。
与 Sora 这样的双向模型不同,Oasis 是自回归地生成帧的,它能够根据游戏输入调节每一帧,这构成了 AI 生成的游戏实时与世界互动的基础。
该模型采用了 Diffusion Forcing 训练方法,能够独立对每个 token 进行去噪。它通过在空间注意力层之间加入额外的时间注意力层,来利用前几帧的上下文。此外,扩散过程在 ViT VAE 生成的潜在维度中进行,这一维度不仅压缩了图像大小,还使得扩散能够专注于更高层次的特征。
时间的稳定性是 DecartAI 关注的问题 —— 需要确保模型的输出在长时间跨度内是有意义的。在自回归模型中,错误会累积,小瑕疵很快就会累积成错误的帧。
为了解决这个问题,该团队在长上下文生成中进行了创新。他们选择的方法是动态调整噪声。模型推理时将对噪声实施这样的计划,初期,通过扩散前向传播注入噪声以减少错误积累,在后期逐渐去除噪声,使模型能够发现并保持之前帧中的高频细节。
Oasis 游戏以每秒 20 帧的速度生成实时输出。目前最先进的具有类似 DiT 架构的文本转视频模型(例如 Sora、Mochi-1 和 Runway)可能需要 10-20 秒才能创建一秒钟的视频,即使在多个 GPU 上也是如此。然而,为了匹配玩游戏的体验,Oasis 的模型必须最多花每 0.04 秒生成一个新帧,速度快了 100 倍以上。
借助 Decart 推理堆栈的优化设置,开发者大幅提升了 GPU 的运行、互联效率,让该模型最终能以可播放的帧速率运行,首次解锁了实时交互性。
但是,为了使模型速度再快一个数量级,并使其大规模运行更具成本效益,就需要新的硬件。Oasis 针对 Etched 构建的 Transformer ASIC Sohu 进行了优化。Sohu 可以扩展到 4K 分辨率的 100B+ 大规模下一代模型。
此外,Oasis 的端到端 Transformer 架构使其在 Sohu 上运行非常高效,即使在 100B+ 参数模型上也可以为 10 倍以上的用户提供服务。对于像 Oasis 这样的生成任务来说,价格显然是可运作的隐藏瓶颈。
Etched,这个名字可能有点陌生,但它算得上是硅谷又一个 AI 融资神话。两位 00 后创始人 Chris Zhu 和 Gavin Uberti,把宝押在了基于 Transformer 架构的大模型上,选择 all in Transformer。于是 2022 年,他们双双从哈佛大学退学联手创业,专门开发用于 Transformer 模型的专用芯片(ASIC)。
Etched 的两位创始人 Gavin Uberti(图左)、Chris Zhu(图右)。
今年 7 月,Etched 发布了首款 AI 芯片 Sohu,宣称:「就 Transformer 而言,Sohu 是有史以来最快的芯片,没有任何芯片能与之匹敌。」当天,Etched 完成了 1.2 亿美元 (约人民币 8 亿元) 的 A 轮融资,投资阵容集结了一众硅谷大佬,向英伟达发起了挑战。
与英伟达相比,一台集成了 8 块 Sohu 的服务器,性能超过 160 块 H100,Sohu 的速度比 H100 快 20 倍;与英伟达最强的新一代 B200 相比,Sohu 的速度要快 10 倍以上,而且价格更便宜。
Decart 则是一家来自以色列人工智能公司,直到今天才正式露面。伴随 Oasis 发布的还有 Decart 获得红杉资本和奥伦・泽夫 2100 万美元(约等于 1.5 亿人民币)融资的消息。在推出 Oasis 之前,Decart 提供的主要服务为构建更高效的平台,提升大模型的速度和可靠性。
Oasis 或许会是一个好的开始,或许在此基础之上,不久以后我们就可以玩到全新形态的 AI 游戏?
参考内容:
https://www.etched.com/blog-posts/oasis
https://www.decart.ai/articles/oasis-interactive-ai-video-game-model
文章来自于微信公众号 “机器之心”,作者“佳琪、泽南”