ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
AI动画可以开做了!
6935点击    2024-10-14 17:07

如果有一天,大家的动画都用AI来做,这个行业会好吗?

      

2024年2月,OpenAI的AI视频生成产品Sora发布了演示视频,曾引发了不少包括动画在内的影视相关从业者的恐慌。在他们眼里,这种通过文字参数就能生成视频的产品一旦问世,将会给已有成熟的影视工业体系带来极大的冲击。

      

8个月过去,虽然Sora依然没有正式发布,甚至Sora项目的负责人Tim Brooks已经在10月4日官宣离职,让这一项目的未来充满了未知。但与此同时,包括快手的可灵,字节的即梦在内的国产视频AIGC产品陆续开放使用,许多影视从业者加入了平台支持的AI影视大赛中,剑指下一个AI影视内容风口。

      

在番剧动画领域,目前还并没有商业性质的AI作品面世。但在动态漫画、竖屏短漫等领域,AI内容早已渗透其中,工业化流程已经被一部分人积极利用,获得了不错的流量和收益。在AI参与动漫领域创作成为必然趋势的背景下,及时地探索全流程AIGC动画,既是小成本新团队弯道超车的机会,也是老牌公司适应平台需求并保持领先的优先选项。

      

总之,AI动画确实可以开始做起来了。


全流程已跑通,风格化初步实现


目前,AI技术已经被成功地应用到动画制作的各个环节,并且在一些项目中实现了从概念到成品的全流程应用。此前就有动画公司在前期阶段积极引入AIGC,在已有人物资产、场景资产上进行一部分内容的补足,例如通过AI文生图制作一部分场景,或是用AI插件批量化生成角色。今年AI技术的迅猛发展后,已经有公开的AI产品能够完成对已有故事的重写和分镜设计,协助动画公司加速故事线的创作。

      

因此,在前期的剧本设计、分镜设计、画面描述阶段,AIGC产品已经拥有了让动画团队加强协同,降低沟通成本的作用,甚至有团队已经尝试通过建立智能体(Agent),让已有大模型学习大量现有网文、动画内容,直接模仿、生成全新剧本,通过模仿成功案例,降低编剧创作压力。



此前全流程AI动画的阻碍,也随着Sora、可灵、Runway等产品的陆续面世和完善过程中得到改善。目前动画团队可以通过自己擅长的AI文生图体系,首先生成关键性的故事场景和分镜,再通过图生视频AI产品将静态画面组织起来,完成多个动态画面。再根据动态画面,使用TTS、RVC等技术进行AI配音及AI配乐,最终加以简单的剪辑,即可完成整个AI动画的制作。  

      

和上半年AI动画受制于AI视频工具的能力限制,部分情况只能生成6秒左右视频内容的状态相比,目前大量AI视频生成产品不仅能够生成更长的视频片段,还能在相对完善的透视体系下完成运镜。



综合来看,挡在AI全流程动画的壁垒都已经不存在了。愿意观察、体验的AI内容创作者们已经可以进行AI动画的创作。和传统的动画工业相比,AI动画创作中依旧存在着不稳定性,创作者想得到需要的动画视频片段,仍依赖大量的“抽卡”获得,且画面精度和传统动画比存在较大差距。另外,AI动画依旧有肉眼可见的AI痕迹,挑剔的观众可能会对此有一定的反感。

      

不过,在短视频平台尤其是低幼相关内容上,AI动画已经能被更多观众包容,甚至开始占领一部分低龄观众的心智,存在着不小的潜力。此外,主张降本增效,还得全力保障S级动画大作上线,亟需普通动画补足内容时长的一些长视频平台,随着AIGC技术的成熟,也开始落实起AI动画的制作和引进工作。


厂商的进展&平台的态度


腾讯视频动漫在9月举办了一场关于“AIGC赋能短番创作”的线下交流会,根据会上透露的数据来看,腾讯视频创作号中有50%以上的短番创作者在借助AI生产内容。虽然这些短番作品中鲜有爆款,但对于平台来说,这些能够有效填充站内动漫类作品数的内容还是非常有用的。腾讯视频动漫举办了“AIGC短番创作大赛”,直接为优质成品提供扶持,让创作者自行创作,也可以从中选择一批能够用好AIGC的内容创作者。



优酷动漫则引入了AI动漫创作的整条管线,为平台内已有的动画创作者提供全方位的AI支持,与国际接轨推动AI技术融入生产一线提升效率。根据优酷AI动漫制作新管线的构思,在未来,剧本创作、概念设计等阶段可以通过文字AI大模型协助完成;角色创作、场景制作则能结合图片AI大模型参与其中;在传统动画工业领域里的动画解算、特效制作、灯光渲染合成等工序,也有厂商进行了AI插件的设计,进一步提升了动画制作的效率;而剪辑配音环节,随着AI剪辑工具的陆续面世,以及AI配音工具的完善,让剪辑变得更为便捷。传统动画制作的厂商,也能获得AIGC带来加速原本动画制作流程的红利。



图源:优酷动漫


在UGC主导的快手、抖音、B站等平台,已经有不少AI动画发布,且观众群体有对AIGC感兴趣的人群。随着自建AI视频大模型的快手和抖音开放AI创作工具,相关的AI短片创作大赛也已经开启,不少学生、独立动画创作者都已经加入了创作的行列。


一个AI动画可以怎么做?


制作一个AI动画,流程通常分为剧本创作和人设创作的前期阶段,分镜创作、配音制作、文生图、图生视频的中期阶段,以及剪辑的后期阶段。AI发展到今天,个人创作者利用市场上公开的工具,已经可以创作一个还不错的AI动画短片。



在剧本、人设阶段,目前市场上通用的文本大模型基本具备了简单的故事编写能力,但综合表现比较好的产品并不多,用在短番的创作上都有些欠火候。不过,将一个完善的故事脚本发给相关的AI产品,让其重写类似的脚本,并输出成分镜格式,对于优秀的对话类AI大模型不再困难。另外,一部分AI大模型已经可以通过阅读脚本,为作品设定出一套不错的人设,可以在AI动画的分镜生图阶段提供很方便的助力。



通义千问生成的剧本分镜和人设,参数见图


根据我们的实验,仅通过文字生成视频,对于当下流行的AI视频大模型还是不够稳定,但创作者可以先用更专业的文生图工具生成一些可供使用的AI分镜,再将这些静态图片交给视频大模型进行图生视频的工作,会更好地得到想要的效果。比如我们将一张由豆包AI随便生成的图片,交给可灵AI(1.5版本)进行图生视频,得到了一段虽然有瑕疵,但效果远超动态漫画的短视频。



视频由可灵AI 1.5生成


目前,快手可灵等AI视频产品已经支持了人物对口型的操作,所以在制作视频的同时,也可以通过TTSMaker等工具生成AI配音,将对应配音文件上传后,就能得到一段对好口型的视频。音乐上,创作者可以使用Suno等AI音乐工具生成独特的BGM,留给最终的剪辑使用。

      

最后,创作者只需要选好AI视频产品生成的片段,再将BGM、配音合成,加上需要的文字、字幕,一段AI动画就做好了。哪怕整个团队只有一人,也能在几天时间内完成一集AI风格明显,但在传统动态漫画水平之上的动画短片。

      

AI动画时代会好吗?


和你看到的一样,AI动画的上限从人类的想象力演变成了AIGC的创作能力。虽然演示中的剧本生成,人物形象,视频生成等环节仍然需要AI多次生成并由创作者筛选,但利用AI创作动画的整个流程,除了更为精细的剪辑之外,已经能用AIGC工具全部完成了,这让不少没有动画产能的内容团队有了入局动画市场的能力。


  


AI动画《我是瓦猫》片段-来源:@阿汤AI搞事儿


时至今日,很多观众依然十分反感AI作品,但在短视频平台上,无论是AI配音深度参与的营销号内容,或是由AI插画组成的热门悬疑故事短片,都已经常态化。更有甚者,还将这部分热门短片,交给AI产品进行重制加工,又一次投放进视频平台,重新收获一大批簇拥者。  

      

假如动画行业有一批人也这样去做呢?将一部或是多部动画的内容交给AI识别、学习、翻制,再以“新番”的名义投入市场,那么国产动画市场能否迎来新风口?在AIGC工具使用成本越来越低的今天,大量AI动画的到来已经离我们不再遥远。留给传统动画公司的机会,除了把画面技术提升到AI以上,创作出更独特的故事之外,可能只有拥抱AIGC,成为其中的一员。

      

也许我们会迎来国产动画因AIGC变得更加繁荣的一天,但这一天来临之前,谁也不知道它会是晴天,还是雨天。  


文章来源于“靠谱二次元”,作者“乌贼Nyan




AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI漫画

【开源免费】ai-comic-factory是一个利用AI生成漫画的创作工具。该项目通过大语言模型和扩散模型的组合使用,可以让没有任何绘画基础的用户完成属于自己的漫画创作。

项目地址:https://github.com/jbilcke-hf/ai-comic-factory?tab=readme-ov-file

在线使用:https://aicomicfactory.app/

2
AI音乐

【开源免费】suno-api是一个使用监听技术实现了调用suno功能,并封装好API的AI音乐项目。

项目地址:https://github.com/gcui-art/suno-api

3
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

4
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales