AI视频产品越来越卷了。
一拖一拽、输入提示词,点击生成,便在空白画布上搭建起了一个前段时间在网上很火的Flux+图生视频的工作流。
上图展示的工作流,用到了以写实逼真闻名的开源文生图Flux模型,和AI视频生成头部公司Runway的最新模型Gen-3。
在过去,这个工作流需要创作者手动在不同平台之间传素材,耗费大量时间。尤其随着素材数量增加以及创作团队规模的扩大,素材管理难度也会随之提高。
如今只需要打开Kaiber,点击进入新功能“Superstudio”创建画布,就可以轻松搭建自己喜欢的工作流。除了Flux和Runway,这个工具还集成了Luma、可灵AI、海螺AI等炙手可热的AI视频模型。
对于长期关注AIGC创作的玩家来说,Kaiber应该不算是一个陌生的工具了。
Kaiber是海外最早推出视频到视频(V2V)的公司之一。众多AI视频公司还在卷模型的时候,Kaiber就已经通过V2V视频转绘在音乐MV制作领域小范围出圈了,仅用7个月就吸引了250万用户。
美国知名摇滚乐队林肯公园为纪念《Meteora》专辑20周年,2023年相继发布《Lost》和《Massive》等经典老歌的动画MV,背后制作就用到了Kaiber。
《Lost》的动画MV如今在Youtube上播放量已超9000万次
无独有偶,另一款定位为“AI艺术创作平台”的AI工具——Krea AI甚至早于Kaiber将近期市面上主流能打、且开放了API的视频模型,集成到了自家的平台上。
彼时还引得硅谷风投机构a16z合伙人Justine Moore在X上发文盛赞“如果你厌倦了在不同选项卡之间不断切换,那么它(Krea AI)将改变游戏规则”,颇有些前阵子360 AI搜索官宣集成15家国产大模型的气势。
在产品层面做整合、卷工作流,成了近期AI视频生成领域的新趋势。
就连之前以模块化理念和工作流界面著称的开源项目ComfyUI,也在最近宣布正在封闭内测一个更简单易用的桌面客户端:ComfyUI V1。
ComfyUI之前的安装和部署过程相对复杂,涉及各种节点、插件以及硬件要求,让不少新手望而却步。
但由于功能全面、开源生态的支持,你会看到AI圈有一定影响力的创作者和博主都在使用ComfyUI进行风格化图像生成、视频转绘和人物姿态控制等复杂工作流任务。
而此次ComfyUI V1的推出正是为了降低新手使用ComfyUI的门槛。
ComfyUI V1官方演示
使用门槛越来越低的AI视频产品,如何帮助创作者提效?眼看ComfyUI V1正式上线还得等一阵子,我们对Kaiber等已上线相关工作流功能的产品进行了一波实测和整理。
不同于市面上大多数的AI视频产品,Kaiber采用画布式直观呈现来支持用户搭建工作流。
进入Kaiber新功能“Superstudio”的主页面(相关链接已整理至文末),官方会给出两个工作流案例。一个是结合了参考图和提示词的图像风格合成、一个是引入了Luma视频生成模型的文生视频工作流。
乍一看,与ComfyUI界面逻辑颇有几分相像,但在使用上对新手来说更为友好。
你可以在这两个工作流的基础上,更换图片或提示词,进行尝试,也可以在界面左侧点击新增一张空白画布,搭建自己的工作流。
创建完空白画布,一开始有些手足无措是正常的。简单熟悉下3个核心操作就可以很快上手了。
首先,调用模型或工作流。
点开上方菜单栏的“Flow Menu”,便可以找到该产品集成的所有模型和工作流。既有市面上很火的主流视频模型,也有用于图片或视频风格增强、转绘等玩法的工作流。
选中心仪的模型或工作流,将其拖拽进画布即可。
其次,右侧的素材存放区,你上传或生成的素材都可以在这里找到。
如果素材量太多,你还可以将它们整合到收藏夹(Collections)中,按项目或素材类型进行收纳整理。
相较之前素材存储相对独立的工具来说,这种设计非常直观。你可以通过拖拽的方式,轻松筛选需要重复利用的素材,而无需再打开本地文件夹、或在工具的素材库里一通好找。
最后,具体生成操作上,就和使用其他AI视频工具一样,通过输入文字提示词、或上传图片和视频等内容,调教AI干活即可。
与Kaiber相比,Krea AI虽然也集成了市面上主流的视频生成模型,但在产品界面设计上没有Kaiber的画布式工作流呈现直观。
在Krea AI中,用户生成图像后,需要点击图像上的视频生成按钮,跳转到视频生成页面,然后再选择视频模型进行视频生成。
根据工具或调用模型的不同,相应操作和使用的积分会有所差异。当然,AI视频工具的迭代速度相当之快,也许过几个月甚至几个星期,就会迎来一次模型更新或产品升级。
在这里,我们以Kaiber为例。现阶段在这个工具中调用Luma的视频模型是支持首尾帧功能的,而可灵、Runway等模型调用则不支持该功能。
其中,最贵的模型当属可灵Pro,每次调用需要消耗65积分。Kaiber的免费版订阅每月只有200积分,而15美元的月付费订阅则提供1000积分。
相当于,15美元只够调用15次可灵Pro。
对比海外版可灵Pro每月12.88美元、3000积分(约等于模型生成300个标准视频)的官方价格,可以发现Kaiber的定价多少有点“中间商赚差价”的意思了。
不过,对创作者来说,Kaiber这类在产品层面整合了多种热门模型的工具,带来的一大明显好处是:充值可以只充一个平台了。
此外,一些复杂的工作流也可以比以往更轻松地搭建和复用,大大提高创作效率。
特别是AI视频模型,各家的专长各不相同。例如,可灵在写实风格和对物理世界的理解方面表现出色,而Minimax的海螺则在语义理解和情感表达上具有优势。
之前要满足这两种需求,不仅需要订阅不同的平台,还涉及大量素材管理工作。
可以说,从产品层面对各大AI视频模型进行整合,一定程度上可以帮助难以上手使用ComfyUI的用户轻松使用多种热门模型组合搭建工作流,也能为Kaiber等一站式工具带来短期内的竞争优势。
其实不止海外,国内的AI视频工具也开始卷产品了。
据“AI新榜”观察,无论是字节旗下的即梦AI,还是美图出品的AI视频短片创作工具MOKI,都主打“一站式创作”,将故事创作、分镜生成、对口型等功能逐步集成到了自家平台上,覆盖短片和短视频制作的关键流程。
即梦AI使用界面
MOKI使用界面
阿里旗下正在内测的视频创作平台“寻光”,官方提及的核心功能也包括故事板生成、角色库管理、视觉素材创作和视频内容编辑等。
寻光核心功能,官方展示
力图解决创作者在视频生产中的痛点,是这类工具产品的迭代方向。只不过国内目前走生产力路线的AI视频工具,大多还没有集成多个视频模型供用户选择。
除了卷生产力的产品之外,还有卷玩法的产品。
在OpenAI内部一系列人事动荡,首席技术官Mira Murati、Sora项目负责人Tim Brooks相继离职之后,Sora年初画下的饼,如今像极了一个泡沫破裂后无人填坑的烂尾项目。
Sora热潮退去,留在牌桌上的玩家在现阶段比以往任何时候都需要吸引新用户,并且想办法留住老用户。
据SimilarWeb统计,Luma AI网站在9月的总访问量仅为1181万次,环比下跌38.49%;曾红极一时的黑马选手Pika在9月总访问量仅110.8万次,环比下跌9.78%。
面对用户增长乏力、留存率差等问题,最近几个月来AI视频赛道上的大小玩家也都开始在产品玩法上进行升级。
一个典型的例子便是Pika。自去年年底发布首个视频模型产品Pika1.0迅速走红后,Pika一度淡出大众视野。直到最近推出一系列特效模板,才再次在海内外社交媒体上引起广泛关注,吸引大量UGC用户前来创作和打卡,从而助推了一波用户增长。
据新榜发布的10月AI产品榜,Pika在海外榜的排名蹿升39位,成功跻身海外榜Top10。
可以预想的是,这种以流量为导向的产品策略,虽然短期内能够带来用户增长,长期转化效果就不太明朗了,早前爆火过一波的AI写真产品妙鸭就是“前车之鉴”。
我们截取了几大热门视频模型过去28天(以11月1日为起始点倒推)海外网站访问流量变化,发现Pika分别在10月13日和10月22日迎来流量高峰,甚至一度超过了可灵的热度。
来源:SimilarWeb
但在10月22日之后,Pika的网站访问量便一路呈现下滑趋势。
而可灵、海螺AI等在海外强势走红的国产AI视频产品流量趋势就相对平稳,且整体流量水平高于海外的视频模型产品。
回过头再看,在底层视频模型未能实现重大突破的情况下,无论是Kaiber还是Pika,给出的都是治标不治本的解决方案。
毕竟,AI生成的视频如何保持人物画面一致性、运动符合物理规则,这些底层技术能力的提升才是触及用户深层需求的关键痛点。
Kaiber工作流搭建地址:
https://www.kaiber.ai/superstudio/
Krea AI官网地址:
https://www.krea.ai/apps/video/v2
文章来自于微信公众号“AI新榜”,作者“石濑”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。
项目地址:https://github.com/InternLM/MindSearch
在线使用:https://mindsearch.openxlab.org.cn/
【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。
项目地址:https://github.com/miurla/morphic/tree/main
在线使用:https://www.morphic.sh/
【部分开源免费】FLUX是由Black Forest Labs开发的一个文生图和图生图的AI绘图项目,该团队为前SD成员构成。该项目是目前效果最好的文生图开源项目,效果堪比midjourney。
项目地址:https://github.com/black-forest-labs/flux
在线使用:https://fluximg.com/zh
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0