看过了这么多款Agent,这一次,AI不仅承包了视频生成,还自带演员进组了。
只需一段简单的提示词,一条充满戏剧张力的微短剧就诞生了。
不信,看看我们新做的《东北虎妞回唐朝当公主》:
如何?是不是很有那味儿了?
这就是剪映旗下的内容创作Agent小云雀最新上线的一个功能:智能生成数字人——
简单来说就是文生数字人,通过提示词直接生成你想要的“演员”形象,并保持角色前后的一致性,一个视频还能同时出现多个角色。
有了演员后,只需你提供大致剧情思路,分镜、台词、字幕、口音、转场、贴图、背景音乐……统统都不用你管,AI Agent自己搞定。
这下子,那些天马行空的脑洞可算是有了用武之地。
这里和大家简单介绍下我们的测评过程。
进入小云雀APP之后,选择“智能生视频”,即可进入Prompt输入界面;在这里你还可以设置视频的一些细节内容。
包括视频的时长、人物的语言、口音、画面包装等等:
然后就可以和小云雀一起创作属于你们的故事了。
比如生成一段历史人物故事讲解的视频。
Prompt是这样的:
然后不需要我们做任何的操作了。
小云雀会先根据提示词做一番理解分析,根据用户的创作想法进行角色设计,完善脚本要求、视频风格、目标受众,归纳视频主题和语言,特别值得一提的是,过程中小云雀还会主动学习抖音热门视频,总结爆款内容的节奏特点,将用户创意用详细的分镜脚本表现出来。
短短几分钟,一个展现拿破仑辉煌一生的故事,就这么水灵灵地诞生了:
可以看到,不论是人物一致性,亦或是视频的各种细节,完成度可以说是能直接拿来用的程度了,非常适合起号阶段的自媒体创作者,能够极大提升生产力。尤其是对于有想法,但苦于找不到素材、不会剪视频的入门新手,非常友好。
除了这种正经的知识讲解,我们还试了下能不能和小云雀一起搞个活,比如:
让乐山大佛带货蜜雪冰城。
雪王估计看完这个小短片,也得在底下留言评论:“妙啊~”
现在非常火爆的记者实地探访古代现场系列,小云雀也能很好呈现:
嗯,现在真的就是有想法,人人都能打造爆款视频了。
除了数字人,小云雀的另一大爆款玩法为「参考图生视频」。
有别于大多数图生视频的初阶玩法——只是让图片动起来,这个功能再跃level,直接能生成完整故事了。
比如随机上传一张哈利波特斯内普的照片,小云雀直接续写了一段他退休后“跨界”摇滚乐的故事:
注意看,里面的旁白讲解、配乐、丝滑转场等,也通通都是小云雀自己搞定的!
这种“一张图讲故事”的能力完美解决了以往图片混剪效果差的“老大难”。毕竟如果只是几张图加点转场混剪,作品大概率比较枯燥、流量不佳。
而小云雀在主体一致性、风格多样化等方面都能提供很好的支持。
来看乐高版成语小课堂:
做一个乐高风格的塞翁失马故事,不出现与主题无关的其他元素,保持生成乐高风格一致性。隐藏数字人,隐藏贴纸,但需要旁白文案。(指令中最好强调“注意保持角色一致性”)
短短几分钟后,一段娓娓道来的成语故事科普新鲜出炉,并且不同场景下的人物主体始终保持一致,没有出现那种换个场景就突然换人的bug。
一致性问题一旦被攻克,小云雀的用武之地就远不止于内容创作了——放在产品拍摄、模特展示等营销类场景,更是妥妥的降本增效神器。
还是一张参考图+一句提示词:
参考该图片作为主体,输出小红书带货视频,换不同场景体现穿搭的百搭性。
一条关于大衣的带货视频就有了,不仅人物+大衣全程保持一致,还一举展示了多个使用场景:
或许不远的未来,无论是新款包包、护肤品,还是上新服饰,只要提供参考图,都能用小云雀一键生成高一致性、高质感且具有带货能力的视频内容。
感觉电商商家们会很喜欢这个功能,毕竟拍摄视频素材的成本被狠狠打下来了——以前每上一个新产品就得实拍一波,拍模特、搭布景,光人力物力就劝退一大片。
而有了好的AI工具,这部分拍摄成本就能全部省下来。
顺带一提,小云雀在图片生成方面同样不容小觑。
依托字节seedream3.0生图模型,它能交付生产力级别的商业海报、排版设计、视频封面等图像作品,中文渲染水平处于业界第一梯队。
我们浅浅用它设计了民族风海报、涂鸦式打工人表情包,交付成品相对不错,过去最容易“翻车”的图文排版、文字错乱问题,也几乎挑不出毛病了。
注意到了吗,小云雀的适配场景可不仅局限于抓马短剧,自媒体创作、营销类内容制作等领域,它都可以发挥一技之长。
一番实测下来,感觉小云雀和传统的生图生视频模型确实有很大不同。
其中最关键的就是创作门槛被大大降低了。就拿AI图生视频来说,以前只能生成片段分镜,然后需要用户手动剪辑拼接,但现在从输入到输出,中间过程几乎全被AI承包了。
可以说,能够兼顾视频和图片的小云雀,已经从“能生成”迈向了“能交付”的新阶段——无论是追求效率的内容团队,还是想要低成本搞定素材的商家用户,现在基本都能在小云雀里找到可落地的解决方案。
那么接下来的问题就是——
整个体验下来,我们总结了个公式:小云雀=视频Agent+图片Agent。
和大家已经熟悉的各种生图生视频软件相比,它的定位不仅是做一个执行工具,而更像是一个创意智能伙伴。所以不管是图还是视频,只要用户有需要,小云雀就能支持。
啥叫创意智能伙伴?就是既能听懂你的需求,还能一口气给出多种创意方案的那种创作搭子。
小云雀将自己定位为一款内容创作Agent,依托于字节实力强大的模型能力,力争“一句话打造一个爆款”。
此番实测下来,我们发现,小云雀有这么几个特点:
所以,无论是海报还是短剧,亦或者我们想尝试的科普短视频,它都能有不错的交付结果,一键解决无人出镜、缺少实拍素材等创作卡点问题。
事实上,在AI技术飞速发展的当下,用户尤其是各类创作者,对视频、图片的需求早已经从能生成变成了能交付。灵活高效、交付质量稳定的小云雀或将成为内容创作领域的一匹黑马。
目前小云雀APP已上线安卓、iOS应用商城,截至发稿时间仍处于“限时免费”状态,感兴趣可以赶紧薅一波了(doge)。
文章来自于微信公众号“量子位”,作者是“金磊,一水”。
【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。
项目地址:https://github.com/browser-use/browser-use
【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,
“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。
项目地址:https://github.com/xszyou/Fay
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales