大家好,我是在学AI漫剧的袋鼠帝
最近跟一位朋友讨论了一下AI漫剧,哈哈,他说他们老板终于想开了,开始搞AI漫剧了

说明AI漫剧还是有前景,有搞头的。
之前刷短视频,就看到过很多剧集AI漫剧,流量出奇的好。有些画面效果比较粗糙,甚至有些仅仅只是幻灯片+配音。
但我其实并不太懂怎么做AI漫剧,于是我最近疯狂学习,并跟朋友也交流了一下。

最后总结了一下,比较详细的步骤大致如下图:

看起来还是相当繁琐的,对于小白来说非常不友好,我也折腾了半天。
说实话,自从前不久Google生图模型和seedream4.0出来之后,我就预感AI漫剧一定会迎来一波增长。
不说别的,就单看AI漫剧的微信指数,就能看到最近几个月的涨势非常猛

因为以前做AI视频,最大的难点就是一致性
可能主角上一秒还是冠希哥,下一秒就变成了本山大叔。场景上一秒是末日废土,下一秒变成了赛博朋克。创作者不得不把大部分时间花在抽卡(生图和生视频)上。一条1分钟左右的还不错的AI视频要花大量的时间。
现在,随着生图和视频模型的不断突破,这个核心痛点正在被解决,时间也极大的缩短了。
我当时还想做一个用于生成AI漫剧的n8n工作流呢,稍微思考了一下,就觉得还是不简单,里面有很多东西要考虑,工程量巨大。
我就在想,市面上既然有像Lovart这样的设计类Agent,那应该也有AI漫剧Agent吧?我应该不用重复造轮子,没有太大意义。
找来找去,还真有一些,最终我选了大佬们推荐的一款新工具,可以一键直出AI漫剧,然后我也丝滑的做出了我的漫剧处女作:
疯狂动物城之-梦幻酒店(第一集)

疯狂动物城之-梦幻酒店(第二集)
圣诞节快到了,好想去欧洲体验一次童话般的圣诞节啊。Merry Chrismas

以上,作为我的漫剧首秀
自我感觉还是挺不错的了,有种莫名的成就感。当导演还真是让人上瘾,一天下来,不知不觉就跑了这么多,其中一些还在制作中,后续有机会给大家一起分享出来。

对了,这个工具叫Seko,我相信大家应该也从一些大佬那里刷到过吧
seko.sensetime.com

它是一个Agent,只需要给一个方向,就能自动直出剧本、分镜、人物、场景、风格、批量出分镜图、批量转视频,甚至配音,BGM都给你裁剪卡上了,最后导出一个完整的作品。
Seko把AI漫剧那套复杂的SOP(标准作业程序),封装成了一个小白也能无脑上手的流程。
工具使用非常简单,大家去跑一个漫剧就能直接上手了,但是中间也有一需要注意的事项
这里我分享一下,我的创作过程和经验
首先用Seko的大致的创作流程是这样:

Seko虽然有一键生成的SOP,但它也给专业玩家留了极其灵活的配置空间。
比如人物主体(Character)。你可以用它内置的,也可以像我一样,直接上传自己的IP形象,有我的袋鼠帝头像,还有我的真人版Rapper形象


注意:人物主体的背景最好是白色!这一点至关重要。干净的背景能让模型更精准的提取人物特征,在后续生成视频时,人物更稳定。
除了人物主体,还可以上传场景作为主体,这样在后续生成的过程中,场景不会崩,这对于多集连续剧来说是刚需,你总不希望主角回个家,每次家里的装修都不一样吧?
比如下图的酒店外部、酒店大堂、酒店露台

Seko提供了14种画风选择(也可以在Prompt里面自己指定)

一切准备就绪,入口还是那个我们最熟悉的对话框。

我简单描述了一个科幻短篇的需求,Agent就开始疯狂干活了:

第一步:生成大纲找你确认(是不是你想要的故事走向?);
第二步:确定人物和场景;
第三步:生成分镜脚本文字;
第四步:确认分镜脚本之后点击生成分镜,就开始全自动批量生成所有分镜的图。
下面是生成的所有分镜图

这一步的分镜图如果不满意,随时可以单张重抽。
Seko支持一张一张分镜转视频,也可以一键转视频,我图方便,就先一键转视频了,很简单,操作流程如下

然后,结果就出来了~
是不是很简单,而且非常迅速

我感觉效果还不错,Seko还自动加了配音(旁白)和BGM
我做的只是导入剪映,简单加了点水滴声、敲击声和岩石落水声。
而且写实风格的科幻题材,本身就是一个难啃的骨头。
另外,Seko并没有把生成过程做成黑盒。在最终成品出来前,拥有极大的调整空间和自由度。
比如在发送任务前,可以在剧情@对应的场景以及人物主体。

比如当你对它生成的某些人物主体不满意,可以直接编辑(本地上传/AI生成)

对于生成的场景图也是同理

如果觉得分镜有瑕疵
可以选中图片,在左侧对话框直接提修改意见,Agent自动帮修图。
生成分镜视频后,还支持对口型,让主角开口说话。

既然是AI漫剧,那肯定是多剧集才更有商业价值。
Seko最让我惊喜的,就是它有长上下文理解能力。支持多剧集生成,每一集都能承接上一集的剧情、人物状态和场景设定。
理论上,你可以用它做一部上百集的大型连续剧,而不用担心演着演着主角莫名其妙换人了。

我记得以前刷抖音,动不动就是人人都是导演的时代到了。但是一直觉得离人人都是导演的时代还早。
直到最近各种生图、生视频模型取得重大突破之后,我感觉那个时代真的不远了。
Seko几乎把市面上最主流、效果最好的生图、生视频模型全都包圆了,并且在一个工具里打通了所有环节。
我们也不需要在多个工具之间反复横跳,不用面对那堆令人崩溃的下载-上传-下载-上传的地狱级文件管理。
对于小白:我觉得Seko是很好的入门工具。它极大地降低了门槛,让你能把更多的精力集中在做好剧情上。
对于追求效率,做矩阵流量的朋友: 它可以批量化、工业化的生产内容。在短视频这个赛道,速度和产量往往意味着更大的试错空间和爆款概率。
对于追求极致效果的专业创作者: 你会觉得一键生成的镜头语言不够。但Seko能帮你解决70%的脏活累活(素材生成、基础剪辑、一致性控制)。
你可以把它生成的视频作为精细的动态分镜或底稿,再导入其他视频工具中进行二创和精修。这比从零开始,效率提升了不止一个量级。
我感觉AI漫剧正在从猎奇走向产业化。
工具已经准备好了,剩下的,就看谁的脑洞更大,谁的故事更"骚"了~
我是袋鼠帝,持续分享AI实践干货,我们下期见!
能看到这里的都是凤毛麟角的存在!
如果觉得不错,随手点个赞、在看、转发三连吧~
如果想第一时间收到推送,也可以给我个星标⭐
谢谢你耐心看完我的文章~
文章来自于微信公众号 “袋鼠帝AI客栈”,作者 “袋鼠帝AI客栈”
【开源免费】ai-renamer是一个用AI帮你做文件夹或者图片命名的项目。该项目会根据文件夹或者图片内容来为文件进行重新命名,让你的文件管理更加便利。
项目地址:https://github.com/ozgrozer/ai-renamer
【开源免费】字节工作流产品扣子两大核心业务:Coze Studio(扣子开发平台)和 Coze Loop(扣子罗盘)全面开源,而且采用的是 Apache 2.0 许可证,支持商用!
项目地址:https://github.com/coze-dev/coze-studio
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0