国产AI视频大模型牵手国际顶尖IP!
最近票房单日冠军漫威《毒液3》的水墨风宣传片,竟然是用AI做的。就是下面索尼电影官方发布这一条
30秒的时长,搞了个水墨版毒液大咖秀——
时而幻化成鱼,时而变做岸上奔腾的毒液马;一会儿又飞檐走壁,变换为展翅飞鹤,在古楼最高处俯瞰城市。
脸上还露出毒液标志性的邪魅一笑。
导演杨晟(电影《泰囧》、游戏《完蛋我被美女包围了》主创)和凯伦(参与制作电影《邪不压正》、游戏《星穹铁道》)表示:
这条宣传片,完全基于国产AI视频工具生成。
制作总体时间效率提升了至少3倍,节省了近90%的后期投入。
背后是来自清华系AI视频创业公司生数科技,用的就是其旗下的Vidu。
量子位特地联系主创团队,要来了背后制作过程分享,对AI视频感兴趣的旁友可以参考参考业内顶尖实践。
导演杨晟透露,整条短片的画面都基于Vidu平台实现,主要采用了Vidu的图生视频和首尾帧控制功能,其中后者的使用占比更高。
整个流程是酱婶滴:
主创团队前期先人工手绘分镜画,画出要喂给Vidu的首帧和尾帧画面。
然后坐等Vidu在保持画面变幻中主题、风格、时空连贯的前提下,自动理解并补充过程中的视频画面内容。
举个“墨汁扩散演化成毒液”的例子。
这是一个水墨画风格的首帧:
这是一个水墨画风格的尾帧:
首尾帧控制,吐出来的视频效果如下:
中间由AI“脑补”的画面,既可以是一镜到底,也可以进行镜头切换的蒙太奇操作。
导演杨晟表示:
这支短片不长,但涉及到很多镜头变幻,即便对传统特效公司来说,也需要投入专业人力花费一番力气才能完成。
传统动画制作的流程需要先经过脚本、分镜(关键帧制作)、三维建模、动画后期制作等环节。
一般而言,迪斯尼制作一部动画需要4-5年的时间。
动画中期的团队尤为庞大,常常是几千人一起工作,过程相当漫长,中间还会发生很多人为执行上的不可控因素。
主创团队透露,当时,索尼对主创团队下了个prompt:
一个月时间,围绕“万物皆可毒液”的主题制作一支创意短片。
短片所宣传的《毒液:最后一舞》是“毒液三部曲”的最终章。此前,毒液的IP形象已经给观众留下了深刻的印象。
因此,制作宣传短片,对形象的稳定性和一致性有着极高要求。
最初,团队的想法是采用实拍,譬如利用非牛顿流体等来实现毒液百变的特质;甚至考虑用500ml强磁体去模拟真实存在的毒液。
但是事与愿违,实拍效果完全不及预期,更要命的是这样操作的制作周期太长了。
于是,团队开始考虑尝试今年风头很盛的AI视频生成。
为了实现用AI制作该短片,主创团队此前尝试了非常多款国内外AI视频生成工具,“但经常会出现前后镜头风格不统一、崩坏率高等问题。”
杨晟解释道,选择Vidu,一方面是看中了其在水墨风格上的审美独特性和一致性;另一方面,Vidu生成的视频没有镜头转换的割裂感,同时画面内容也符合水墨渲染的特质和水流动的物理规律。
基本上说,可以是拿来即用了。
Vidu加入工作流后,原本的动画制作流程得到简化。
创作团队提供到关键帧原画,直接用AI生成视频素材,再剪辑、包装、配音,就完成了片子。
值得一提的是,AI仅花费了2天时间就生成了所有的素材,这在过去占工作量80%-90%。
而且主创团队表示,AI视频生成突破了资金和时间的限制,创作者不需再在有限选择范围内对内容质量做妥协,毕竟只需要半天时间,AI就能生成近2000条视频素材,充分支持创作者进行内容选择。
故而短片制作很顺利——
传统流程下,30s的动画短片需要制作1-2个月;基于Vidu,主创团队耗时10天,全部制作完成,这比索尼电影给的ddl要早得多。
显然,Vidu参与后整个流程被大大简化,
导演凯伦表示,用上AI视频,朝九晚五有望了(doge)。
实际上,这并不是AI视频领域的首次商业化尝试。
2024最强期货OpenAI的Sora,今年6月就已经和玩具反斗城合作过AI商业片《玩具反斗城的起源》。
不过,后期包装和特效制作的占比,以及AI在创作过程中实际发挥的作用等幕后制作环节,OpenAI都没有放出具体细节。
据了解,未来,漫威计划将更多超级英雄IP通过AI化的方式呈现到大众面前。
甚至个人IP爱好者们也能用Vidu搞漫威二创——
谁说蜘蛛侠不能也AI起来?
文章来自于微信公众号“量子位”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0