曾经的视频生成王者Runway,带着大招鲨~回来了——
祭出全新模型Gen-3 Alpha,并表示这是即将推出的系列模型中的首款。
看过效果后,网友当即表示现在场上局势又大变样了,如图(手动狗头):
Gen-3 Alpha主打的就是一个“细致”,生成的视频可以处理复杂的场景变化,并能包含多样的电影叙事手法,艺术气息拉满。
在保真度、一致性和运动方面都相比Gen-2有了很大提升,官方连甩视频展示,每个都有10秒钟。
Prompt:An astronaut running through an alley in Rio de Janeiro.(一名宇航员穿过里约热内卢的一条小巷。)
人物面部细节、光影细节刻画都很到位。
Prompt:Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.(一列在日本城市高速行驶的火车窗户上,映出了一位女士的细微倒影。)
各种镜头转换很丝滑。
Prompt:FPV moving through a forest to an abandoned house to ocean waves.(从森林穿越到一座废弃的房子,再到海浪的第一人称视角移动。)
Prompt:Handheld camera moving fast, flashlight light, in a white old wall in a old alley at night a black graffiti that spells ‘Runway’.(手持摄像机快速移动,手电筒的光线照在夜晚一条老巷子的白色旧墙上,墙上有一个用黑色涂鸦书写的“Runway”。)
网友直呼Runway这次是“强势”回归,现在来看Sora倒显得有些过时。
对于更多人关心的问题:什么时候能玩?
官方表示,Gen-3 Alpha未来几天内就会向所有人开放:
Runway创世人也做出了回应:
更重要的是,Gen-3 Alpha将同时在视频和图像上进行联合训练,支持Runway的文本到视频、图像到视频以及文本到图像工具,以及现有的控制模式如运动笔刷(Motion Brush)、高级相机控制和导演模式。
之后还即将推出对结构、风格和动作控制更加细致的新工具。
虽然推出在即,但有网友表示等不了一点。直接拿来Luma AI刚推出的Dream Machine和Gen-3 Alpha做比较:
我从Runway中获取了现有视频,并在Luma中使用了相同的提示,虽然对Luma有点不公平吧,但差异那是相当大。
话不多说,直接来看对比效果。
Gen-3 Alpha的对画面主体的刻画确实要更为细致:
在物理规律的处理上,Gen-3 Alpha也更准确:
光影变化细节,Gen-3 Alpha生成的也更复杂:
不过,说到底Gen-3 Alpha还未开放,真实效果对比会不会是同样的结果,还要等等喽。
接下来是更多Gen-3 Alpha的效果展示。
Prompt:An older man playing piano, lit from the side.(一位老人在弹钢琴,侧面被灯光照亮。)
Prompt:A slow cinematic push in on an ostrich standing in a 1980s kitchen.(一只鸵鸟站在1980年代的厨房里,镜头缓慢推进,形成电影般的效果。)
Prompt:A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.(一位中年秃顶的悲伤男子突然间头顶落下一顶卷发假发和一副太阳镜,他变得开心起来。)
Prompt:An empty warehouse, zoom in into a wonderful jungle that emerges from the ground.(一个空荡荡的仓库,镜头拉近,地面上突然涌现出一片奇妙的丛林。)
Runway这次放出Gen-3 Alpha的同时,还透露Gen-3 Alpha是在为大规模多模态训练而构建的新基础设施上进行了训练,并且将配备一套新的安全措施,包括一个新的、改进的内部视觉审核系统和C2PA来源标准。
此外,Runway表示还将与娱乐、媒体组织合作,共同创建定制版的Gen-3 Alpha,允许更具风格化地控制以及保持角色一致性,并满足特定的艺术和叙述需求。
官方还表示,Gen-3 Alpha代表着他们朝着构建通用世界模型的目标迈出了重要一步。
Gen-3 Alpha登场无疑让最近的AI视频生成赛道变得更热闹了。
从国产视频生成大模型快手可灵,发布即上线,支持生成长达2分钟的30fps视频火爆全网:
再到luma AI的Dream Machine号称120秒能生成120帧高质量逼真视频,一开放就被网友挤爆服务器:
也难怪网友直呼“今年是视频元年”。
那么对于最近的几款火爆模型,你更看好谁的表现呢?
参考链接:
[1]https://runwayml.com/blog/introducing-gen-3-alpha/
[2]https://x.com/amebagpt/status/1802702880094171473
[3]https://x.com/iamneubert/status/1802691653511061798
[4]https://x.com/minchoi/status/1802800705767440738
文章来自于微信公众号“量子位”,作者 “西风”