ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
不懂ComfyUI也能像大神一样搭工作流,这个小众视频创作神器怎么还没火
2611点击    2024-11-11 10:42

AI视频产品越来越卷了。


一拖一拽、输入提示词,点击生成,便在空白画布上搭建起了一个前段时间在网上很火的Flux+图生视频的工作流。



上图展示的工作流,用到了以写实逼真闻名的开源文生图Flux模型,和AI视频生成头部公司Runway的最新模型Gen-3。


在过去,这个工作流需要创作者手动在不同平台之间传素材,耗费大量时间。尤其随着素材数量增加以及创作团队规模的扩大,素材管理难度也会随之提高。


如今只需要打开Kaiber,点击进入新功能“Superstudio”创建画布,就可以轻松搭建自己喜欢的工作流。除了Flux和Runway,这个工具还集成了Luma、可灵AI、海螺AI等炙手可热的AI视频模型。



对于长期关注AIGC创作的玩家来说,Kaiber应该不算是一个陌生的工具了。


Kaiber是海外最早推出视频到视频(V2V)的公司之一。众多AI视频公司还在卷模型的时候,Kaiber就已经通过V2V视频转绘在音乐MV制作领域小范围出圈了,仅用7个月就吸引了250万用户


美国知名摇滚乐队林肯公园为纪念《Meteora》专辑20周年,2023年相继发布《Lost》和《Massive》等经典老歌的动画MV,背后制作就用到了Kaiber


《Lost》的动画MV如今在Youtube上播放量已超9000万次


无独有偶,另一款定位为“AI艺术创作平台”的AI工具——Krea AI甚至早于Kaiber将近期市面上主流能打、且开放了API的视频模型,集成到了自家的平台上。


彼时还引得硅谷风投机构a16z合伙人Justine Moore在X上发文盛赞“如果你厌倦了在不同选项卡之间不断切换,那么它(Krea AI)将改变游戏规则”,颇有些前阵子360 AI搜索官宣集成15家国产大模型的气势。



在产品层面做整合、卷工作流,成了近期AI视频生成领域的新趋势。


就连之前以模块化理念工作流界面著称的开源项目ComfyUI,也在最近宣布正在封闭内测一个更简单易用的桌面客户端:ComfyUI V1


ComfyUI之前的安装和部署过程相对复杂,涉及各种节点、插件以及硬件要求,让不少新手望而却步。


但由于功能全面、开源生态的支持,你会看到AI圈有一定影响力的创作者和博主都在使用ComfyUI进行风格化图像生成、视频转绘和人物姿态控制等复杂工作流任务。


而此次ComfyUI V1的推出正是为了降低新手使用ComfyUI的门槛。


ComfyUI V1官方演示


使用门槛越来越低的AI视频产品,如何帮助创作者提效?眼看ComfyUI V1正式上线还得等一阵子,我们对Kaiber等已上线相关工作流功能的产品进行了一波实测和整理。


实测Kaiber新功能:

如何轻松搭建一个热门视频工作流?


不同于市面上大多数的AI视频产品,Kaiber采用画布式直观呈现来支持用户搭建工作流。


进入Kaiber新功能“Superstudio”的主页面(相关链接已整理至文末),官方会给出两个工作流案例。一个是结合了参考图和提示词的图像风格合成、一个是引入了Luma视频生成模型的文生视频工作流。



乍一看,与ComfyUI界面逻辑颇有几分相像,但在使用上对新手来说更为友好。


你可以在这两个工作流的基础上,更换图片或提示词,进行尝试,也可以在界面左侧点击新增一张空白画布,搭建自己的工作流。



创建完空白画布,一开始有些手足无措是正常的。简单熟悉下3个核心操作就可以很快上手了。


首先,调用模型或工作流。


点开上方菜单栏的“Flow Menu”,便可以找到该产品集成的所有模型和工作流。既有市面上很火的主流视频模型,也有用于图片或视频风格增强、转绘等玩法的工作流。


选中心仪的模型或工作流,将其拖拽进画布即可。



其次,右侧的素材存放区,你上传或生成的素材都可以在这里找到。


如果素材量太多,你还可以将它们整合到收藏夹(Collections)中,按项目或素材类型进行收纳整理。


相较之前素材存储相对独立的工具来说,这种设计非常直观。你可以通过拖拽的方式,轻松筛选需要重复利用的素材,而无需再打开本地文件夹、或在工具的素材库里一通好找。


最后,具体生成操作上,就和使用其他AI视频工具一样,通过输入文字提示词、或上传图片和视频等内容,调教AI干活即可。



与Kaiber相比,Krea AI虽然也集成了市面上主流的视频生成模型,但在产品界面设计上没有Kaiber的画布式工作流呈现直观。


在Krea AI中,用户生成图像后,需要点击图像上的视频生成按钮,跳转到视频生成页面,然后再选择视频模型进行视频生成。



根据工具或调用模型的不同,相应操作和使用的积分会有所差异。当然,AI视频工具的迭代速度相当之快,也许过几个月甚至几个星期,就会迎来一次模型更新或产品升级。


在这里,我们以Kaiber为例。现阶段在这个工具中调用Luma的视频模型是支持首尾帧功能的,而可灵、Runway等模型调用则不支持该功能。


其中,最贵的模型当属可灵Pro,每次调用需要消耗65积分。Kaiber的免费版订阅每月只有200积分,而15美元的月付费订阅则提供1000积分。


相当于,15美元只够调用15次可灵Pro。


对比海外版可灵Pro每月12.88美元、3000积分(约等于模型生成300个标准视频)的官方价格,可以发现Kaiber的定价多少有点“中间商赚差价”的意思了。



不过,对创作者来说,Kaiber这类在产品层面整合了多种热门模型的工具,带来的一大明显好处是:充值可以只充一个平台了


此外,一些复杂的工作流也可以比以往更轻松地搭建和复用,大大提高创作效率。


特别是AI视频模型,各家的专长各不相同。例如,可灵在写实风格和对物理世界的理解方面表现出色,而Minimax的海螺则在语义理解和情感表达上具有优势。


之前要满足这两种需求,不仅需要订阅不同的平台,还涉及大量素材管理工作。


可以说,从产品层面对各大AI视频模型进行整合,一定程度上可以帮助难以上手使用ComfyUI的用户轻松使用多种热门模型组合搭建工作流,也能为Kaiber等一站式工具带来短期内的竞争优势。


疯狂卷产品,

AI视频工具可以留住用户吗?


其实不止海外,国内的AI视频工具也开始卷产品了。


据“AI新榜”观察,无论是字节旗下的即梦AI,还是美图出品的AI视频短片创作工具MOKI,都主打“一站式创作”,将故事创作、分镜生成、对口型等功能逐步集成到了自家平台上,覆盖短片和短视频制作的关键流程。


即梦AI使用界面


MOKI使用界面


阿里旗下正在内测的视频创作平台“寻光”,官方提及的核心功能也包括故事板生成、角色库管理、视觉素材创作和视频内容编辑等。


寻光核心功能,官方展示


力图解决创作者在视频生产中的痛点,是这类工具产品的迭代方向。只不过国内目前走生产力路线的AI视频工具,大多还没有集成多个视频模型供用户选择。


除了卷生产力的产品之外,还有卷玩法的产品。


在OpenAI内部一系列人事动荡,首席技术官Mira Murati、Sora项目负责人Tim Brooks相继离职之后,Sora年初画下的饼,如今像极了一个泡沫破裂后无人填坑的烂尾项目。


Sora热潮退去,留在牌桌上的玩家在现阶段比以往任何时候都需要吸引新用户,并且想办法留住老用户。


据SimilarWeb统计,Luma AI网站在9月的总访问量仅为1181万次,环比下跌38.49%;曾红极一时的黑马选手Pika在9月总访问量仅110.8万次,环比下跌9.78%。


面对用户增长乏力、留存率差等问题,最近几个月来AI视频赛道上的大小玩家也都开始在产品玩法上进行升级。


一个典型的例子便是Pika。自去年年底发布首个视频模型产品Pika1.0迅速走红后,Pika一度淡出大众视野。直到最近推出一系列特效模板,才再次在海内外社交媒体上引起广泛关注,吸引大量UGC用户前来创作和打卡,从而助推了一波用户增长。


据新榜发布的10月AI产品榜,Pika在海外榜的排名蹿升39位,成功跻身海外榜Top10。



可以预想的是,这种以流量为导向的产品策略,虽然短期内能够带来用户增长,长期转化效果就不太明朗了,早前爆火过一波的AI写真产品妙鸭就是“前车之鉴”。


我们截取了几大热门视频模型过去28天(以11月1日为起始点倒推)海外网站访问流量变化,发现Pika分别在10月13日和10月22日迎来流量高峰,甚至一度超过了可灵的热度。


来源:SimilarWeb


但在10月22日之后,Pika的网站访问量便一路呈现下滑趋势。


而可灵、海螺AI等在海外强势走红的国产AI视频产品流量趋势就相对平稳,且整体流量水平高于海外的视频模型产品。


回过头再看,在底层视频模型未能实现重大突破的情况下,无论是Kaiber还是Pika,给出的都是治标不治本的解决方案。


毕竟,AI生成的视频如何保持人物画面一致性、运动符合物理规则,这些底层技术能力的提升才是触及用户深层需求的关键痛点。


Kaiber工作流搭建地址:

https://www.kaiber.ai/superstudio/


Krea AI官网地址:

https://www.krea.ai/apps/video/v2


文章来自于微信公众号“AI新榜”,作者“石濑”


关键词: AI , ComfyUI , 工作流 , Kaiber , Krea AI
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI工作流

【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

2
AI搜索

【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架,其性能可与 Perplexity和ChatGPT-Web相媲美。

项目地址:https://github.com/InternLM/MindSearch

在线使用:https://mindsearch.openxlab.org.cn/


【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费,搜索结果包含文本,图片,视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目,测试搜索结果最好。

项目地址:https://github.com/miurla/morphic/tree/main

在线使用:https://www.morphic.sh/

3
Flux

【部分开源免费】FLUX是由Black Forest Labs开发的一个文生图和图生图的AI绘图项目,该团队为前SD成员构成。该项目是目前效果最好的文生图开源项目,效果堪比midjourney。

项目地址:https://github.com/black-forest-labs/flux

在线使用:https://fluximg.com/zh

4
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0