如果有一天,大家的动画都用AI来做,这个行业会好吗?
2024年2月,OpenAI的AI视频生成产品Sora发布了演示视频,曾引发了不少包括动画在内的影视相关从业者的恐慌。在他们眼里,这种通过文字参数就能生成视频的产品一旦问世,将会给已有成熟的影视工业体系带来极大的冲击。
8个月过去,虽然Sora依然没有正式发布,甚至Sora项目的负责人Tim Brooks已经在10月4日官宣离职,让这一项目的未来充满了未知。但与此同时,包括快手的可灵,字节的即梦在内的国产视频AIGC产品陆续开放使用,许多影视从业者加入了平台支持的AI影视大赛中,剑指下一个AI影视内容风口。
在番剧动画领域,目前还并没有商业性质的AI作品面世。但在动态漫画、竖屏短漫等领域,AI内容早已渗透其中,工业化流程已经被一部分人积极利用,获得了不错的流量和收益。在AI参与动漫领域创作成为必然趋势的背景下,及时地探索全流程AIGC动画,既是小成本新团队弯道超车的机会,也是老牌公司适应平台需求并保持领先的优先选项。
总之,AI动画确实可以开始做起来了。
全流程已跑通,风格化初步实现
目前,AI技术已经被成功地应用到动画制作的各个环节,并且在一些项目中实现了从概念到成品的全流程应用。此前就有动画公司在前期阶段积极引入AIGC,在已有人物资产、场景资产上进行一部分内容的补足,例如通过AI文生图制作一部分场景,或是用AI插件批量化生成角色。今年AI技术的迅猛发展后,已经有公开的AI产品能够完成对已有故事的重写和分镜设计,协助动画公司加速故事线的创作。
因此,在前期的剧本设计、分镜设计、画面描述阶段,AIGC产品已经拥有了让动画团队加强协同,降低沟通成本的作用,甚至有团队已经尝试通过建立智能体(Agent),让已有大模型学习大量现有网文、动画内容,直接模仿、生成全新剧本,通过模仿成功案例,降低编剧创作压力。
此前全流程AI动画的阻碍,也随着Sora、可灵、Runway等产品的陆续面世和完善过程中得到改善。目前动画团队可以通过自己擅长的AI文生图体系,首先生成关键性的故事场景和分镜,再通过图生视频AI产品将静态画面组织起来,完成多个动态画面。再根据动态画面,使用TTS、RVC等技术进行AI配音及AI配乐,最终加以简单的剪辑,即可完成整个AI动画的制作。
和上半年AI动画受制于AI视频工具的能力限制,部分情况只能生成6秒左右视频内容的状态相比,目前大量AI视频生成产品不仅能够生成更长的视频片段,还能在相对完善的透视体系下完成运镜。
综合来看,挡在AI全流程动画的壁垒都已经不存在了。愿意观察、体验的AI内容创作者们已经可以进行AI动画的创作。和传统的动画工业相比,AI动画创作中依旧存在着不稳定性,创作者想得到需要的动画视频片段,仍依赖大量的“抽卡”获得,且画面精度和传统动画比存在较大差距。另外,AI动画依旧有肉眼可见的AI痕迹,挑剔的观众可能会对此有一定的反感。
不过,在短视频平台尤其是低幼相关内容上,AI动画已经能被更多观众包容,甚至开始占领一部分低龄观众的心智,存在着不小的潜力。此外,主张降本增效,还得全力保障S级动画大作上线,亟需普通动画补足内容时长的一些长视频平台,随着AIGC技术的成熟,也开始落实起AI动画的制作和引进工作。
厂商的进展&平台的态度
腾讯视频动漫在9月举办了一场关于“AIGC赋能短番创作”的线下交流会,根据会上透露的数据来看,腾讯视频创作号中有50%以上的短番创作者在借助AI生产内容。虽然这些短番作品中鲜有爆款,但对于平台来说,这些能够有效填充站内动漫类作品数的内容还是非常有用的。腾讯视频动漫举办了“AIGC短番创作大赛”,直接为优质成品提供扶持,让创作者自行创作,也可以从中选择一批能够用好AIGC的内容创作者。
优酷动漫则引入了AI动漫创作的整条管线,为平台内已有的动画创作者提供全方位的AI支持,与国际接轨推动AI技术融入生产一线提升效率。根据优酷AI动漫制作新管线的构思,在未来,剧本创作、概念设计等阶段可以通过文字AI大模型协助完成;角色创作、场景制作则能结合图片AI大模型参与其中;在传统动画工业领域里的动画解算、特效制作、灯光渲染合成等工序,也有厂商进行了AI插件的设计,进一步提升了动画制作的效率;而剪辑配音环节,随着AI剪辑工具的陆续面世,以及AI配音工具的完善,让剪辑变得更为便捷。传统动画制作的厂商,也能获得AIGC带来加速原本动画制作流程的红利。
图源:优酷动漫
在UGC主导的快手、抖音、B站等平台,已经有不少AI动画发布,且观众群体有对AIGC感兴趣的人群。随着自建AI视频大模型的快手和抖音开放AI创作工具,相关的AI短片创作大赛也已经开启,不少学生、独立动画创作者都已经加入了创作的行列。
一个AI动画可以怎么做?
制作一个AI动画,流程通常分为剧本创作和人设创作的前期阶段,分镜创作、配音制作、文生图、图生视频的中期阶段,以及剪辑的后期阶段。AI发展到今天,个人创作者利用市场上公开的工具,已经可以创作一个还不错的AI动画短片。
在剧本、人设阶段,目前市场上通用的文本大模型基本具备了简单的故事编写能力,但综合表现比较好的产品并不多,用在短番的创作上都有些欠火候。不过,将一个完善的故事脚本发给相关的AI产品,让其重写类似的脚本,并输出成分镜格式,对于优秀的对话类AI大模型不再困难。另外,一部分AI大模型已经可以通过阅读脚本,为作品设定出一套不错的人设,可以在AI动画的分镜生图阶段提供很方便的助力。
通义千问生成的剧本分镜和人设,参数见图
根据我们的实验,仅通过文字生成视频,对于当下流行的AI视频大模型还是不够稳定,但创作者可以先用更专业的文生图工具生成一些可供使用的AI分镜,再将这些静态图片交给视频大模型进行图生视频的工作,会更好地得到想要的效果。比如我们将一张由豆包AI随便生成的图片,交给可灵AI(1.5版本)进行图生视频,得到了一段虽然有瑕疵,但效果远超动态漫画的短视频。
视频由可灵AI 1.5生成
目前,快手可灵等AI视频产品已经支持了人物对口型的操作,所以在制作视频的同时,也可以通过TTSMaker等工具生成AI配音,将对应配音文件上传后,就能得到一段对好口型的视频。音乐上,创作者可以使用Suno等AI音乐工具生成独特的BGM,留给最终的剪辑使用。
最后,创作者只需要选好AI视频产品生成的片段,再将BGM、配音合成,加上需要的文字、字幕,一段AI动画就做好了。哪怕整个团队只有一人,也能在几天时间内完成一集AI风格明显,但在传统动态漫画水平之上的动画短片。
AI动画时代会好吗?
和你看到的一样,AI动画的上限从人类的想象力演变成了AIGC的创作能力。虽然演示中的剧本生成,人物形象,视频生成等环节仍然需要AI多次生成并由创作者筛选,但利用AI创作动画的整个流程,除了更为精细的剪辑之外,已经能用AIGC工具全部完成了,这让不少没有动画产能的内容团队有了入局动画市场的能力。
AI动画《我是瓦猫》片段-来源:@阿汤AI搞事儿
时至今日,很多观众依然十分反感AI作品,但在短视频平台上,无论是AI配音深度参与的营销号内容,或是由AI插画组成的热门悬疑故事短片,都已经常态化。更有甚者,还将这部分热门短片,交给AI产品进行重制加工,又一次投放进视频平台,重新收获一大批簇拥者。
假如动画行业有一批人也这样去做呢?将一部或是多部动画的内容交给AI识别、学习、翻制,再以“新番”的名义投入市场,那么国产动画市场能否迎来新风口?在AIGC工具使用成本越来越低的今天,大量AI动画的到来已经离我们不再遥远。留给传统动画公司的机会,除了把画面技术提升到AI以上,创作出更独特的故事之外,可能只有拥抱AIGC,成为其中的一员。
也许我们会迎来国产动画因AIGC变得更加繁荣的一天,但这一天来临之前,谁也不知道它会是晴天,还是雨天。
文章来源于“靠谱二次元”,作者“乌贼Nyan”
【开源免费】ai-comic-factory是一个利用AI生成漫画的创作工具。该项目通过大语言模型和扩散模型的组合使用,可以让没有任何绘画基础的用户完成属于自己的漫画创作。
项目地址:https://github.com/jbilcke-hf/ai-comic-factory?tab=readme-ov-file
在线使用:https://aicomicfactory.app/
【开源免费】suno-api是一个使用监听技术实现了调用suno功能,并封装好API的AI音乐项目。
项目地址:https://github.com/gcui-art/suno-api
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales