智东西8月27日消息,据TechCrunch报道,AI动画黑马创企Viggle昨晚宣布已完成1900万美元的A轮融资。本轮融资由硅谷顶级风投Andreessen Horowitz(a16z)领投,Two Small Fish跟投。
Viggle同名AI动画生成产品“Viggle”上线四个月,已凭借“搞笑”属性在TikTok平台出圈,大量KOL和素人博主用Viggle制作表情包和短视频。这些AI视频的引流效果显著,不到10秒的作品,点赞数超10万+。
基于专有的JST-1机器学习模型,Viggle可以动画处理文本、图片、视频,操作简单,一键替换角色的表情和动作。目前,Viggle在APP和社交平台Discord上开放了免费的基础版本,其Discord社区用户数量已突破四百万。
加拿大AI创企Viggle成立于2022年,其联合创始人兼CEO楚航曾在Meta、谷歌、英伟达、3D软件公司Autodesk以及大众汽车等企业工作过,积累了丰富的娱乐、科技行业经验。
最近,鬼畜版的AI视频在社交媒体上病毒式转播。下面这段视频,相信大家都刷到过。乍一看,以为电影《小丑Joker》出番外了,主角“小丑”蹦迪撒欢,开了一场个人演唱会。
小丑代替Lil Yachty开演唱会的AI视频(图源:TikTok)
实际上,这是说唱歌手Lil Yachty在夏季音乐会上的一次演出。类似的,用Viggle制作的鬼畜表情包和短视频在流媒体上“刷屏”,比如马斯克蜘蛛侠斗舞、“耶 稣”为观众加油、柯南家族组团跳抖舞……
这些看起来天马行空,甚至带点“神经质”的AI动画片段,你也可以在家花费几十秒,自己用Viggle创作。例如,创建一个用Joaquin Phoenix真人小丑形象代替Lil Yachty表演的视频,只需上传Lil Yachty跳舞的原始视频和小丑的角色图像,即可让小丑角色复刻Lil Yachty的系列动作。用户单次可上传一段时长30秒内的视频。
Viggle可自定义替换视频角色(图源:Viggle)
Viggle也可以让静态图片中的角色“动起来”,用户需上传角色图像,再附上动作指导的文字说明。经过Viggle动画处理后,该角色便可以演绎文字内容。该平台还可以仅根据文本内容从零开始创建动画角色。
此外,Viggle自带多种视频模板,目前可支持更换绿幕背景、多人“换脸”等操作。
Viggle可生成背景是绿幕的视频(图源:Viggle)
除了免费的基础版,Viggle另外提供了增加视频容量的订阅服务“Viggle Pro”,价格9.99美元。当然,如果你入选了Viggle的创作者计划(the Viggle Creator Program),不仅免费订阅Viggle Pro,还能获得额外1000个积分(相当于250分钟的视频)、新功能的内测机会以及专属的创作者社区交流空间。
花费数十秒,即可实现AI文生动画、图生动画、视频生成动画,Viggle靠的是一个名为“JST-1”的3D动画模型。
Viggle联合创始人兼CEO楚航称,Viggle自主训练的JST-1 3D动画模型具备“真正的物理理解能力”。与其他AI模型相比,JST-1能够理解物理的结构和属性,分析用户的动作指令后,生成高可控性的指定动作。而不是像大多数AI模型那样,只改变图像的表层参数,最后生成不符合物理规律的、违背常理的角色动作。
对于AI模型的训练数据来源,Viggle高层说法不一。
Viggle联合创始人兼CEO楚航称,“到目前为止,我们一直用公开的数据训练模型”。
然而,后续Viggle发言人通过邮件确认,该公司确有使用YouTube视频训练AI模型,但整个过程中“Viggle遵守所有服务条款”,避免大规模下载视频,或采集可能未经授权视频。
据Viggle方面透露,公司与包括谷歌云在内的多个云服务供应商合作,以训练和运行其AI模型。一般来说,合作协议允许Viggle访问云服务提供商的GPU和TPU集群,但不会开放用YouTube视频训练其AI模型的权限。
今年4月,YouTube首席执行官Neal Mohan曾告诉媒体,使用YouTube视频训练AI文生视频应用“明确违反了”平台服务条款。当时,有市场消息透露,OpenAI可能将YouTube视频“喂给”其闭源模型Sora。后续Mohan进一步解释道,谷歌作为YouTube的母公司,可能会与某些创作者签合同,获得相应的视频授权,用于训练谷歌DeepMind的Gemini模型。但未经该公司许可,采集平台上的视频仍是不被允许的。
有媒体报道称,包括英伟达、苹果和Anthropic在内,许多AI模型供应商都曾使用YouTube的视频片段或转录文本进行训练。相似地,Viggle与其他将YouTube视频用作训练数据的公司一样,正处于法律的灰色地带。
现阶段用Viggle制作的动画整体效果较为粗糙,似乎主打“搞笑风”。例如,一些人物需要快速移动的场景,替换后主体人物会出现“缺胳膊少腿”的情况,或者画面清晰度较差、面部表情单一。
篮球和角色四肢都若隐若现(图源:TikTok)
但不可否认的是,Viggle开创了AI动画市场的新可能。
据Viggle联合创始人兼CEO楚航介绍,从用户画像来看,制作表情包、搞怪短视频的只占一小部分,JST-1的3D视频基础模型更多被应用于创意可视化领域。对于电影制作人、动画师和视频游戏设计师而言,该产品能够将他们脑海中的创意,转化为视觉草稿,辅助他们更高效地完成工作。楚航称,不少独立动画师和内容创作者已使用这项技术,Viggle也正在与电影和视频游戏公司讨论技术授权事宜。
虽然目前该AI模型只能创建单一角色,但楚航的野心不止于此,未来Viggle将尝试生成更复杂的视频。而1900万美元的新融资,也将帮助Viggle扩大市场和团队规模,并加速产品研发。
文章来源于“智东西”,作者“徐豫”