ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
a16z领投,华人AI动画黑马爆火,拿下千万美元融资
4092点击    2024-08-29 10:07

智东西8月27日消息,据TechCrunch报道,AI动画黑马创企Viggle昨晚宣布已完成1900万美元的A轮融资。本轮融资由硅谷顶级风投Andreessen Horowitz(a16z)领投,Two Small Fish跟投。


Viggle同名AI动画生成产品“Viggle”上线四个月,已凭借“搞笑”属性在TikTok平台出圈,大量KOL和素人博主用Viggle制作表情包和短视频。这些AI视频的引流效果显著,不到10秒的作品,点赞数超10万+。


基于专有的JST-1机器学习模型,Viggle可以动画处理文本、图片、视频,操作简单,一键替换角色的表情和动作。目前,Viggle在APP和社交平台Discord上开放了免费的基础版本,其Discord社区用户数量已突破四百万。


加拿大AI创企Viggle成立于2022年,其联合创始人兼CEO楚航曾在Meta、谷歌、英伟达、3D软件公司Autodesk以及大众汽车等企业工作过,积累了丰富的娱乐、科技行业经验。


一、“换脸”明星,“搞怪”动漫,用Viggle定制鬼畜表情包


最近,鬼畜版的AI视频在社交媒体上病毒式转播。下面这段视频,相信大家都刷到过。乍一看,以为电影《小丑Joker》出番外了,主角“小丑”蹦迪撒欢,开了一场个人演唱会。



小丑代替Lil Yachty开演唱会的AI视频(图源:TikTok)


实际上,这是说唱歌手Lil Yachty在夏季音乐会上的一次演出。类似的,用Viggle制作的鬼畜表情包和短视频在流媒体上“刷屏”,比如马斯克蜘蛛侠斗舞、“耶 稣”为观众加油、柯南家族组团跳抖舞……


这些看起来天马行空,甚至带点“神经质”的AI动画片段,你也可以在家花费几十秒,自己用Viggle创作。例如,创建一个用Joaquin Phoenix真人小丑形象代替Lil Yachty表演的视频,只需上传Lil Yachty跳舞的原始视频和小丑的角色图像,即可让小丑角色复刻Lil Yachty的系列动作。用户单次可上传一段时长30秒内的视频。



Viggle可自定义替换视频角色(图源:Viggle)


Viggle也可以让静态图片中的角色“动起来”,用户需上传角色图像,再附上动作指导的文字说明。经过Viggle动画处理后,该角色便可以演绎文字内容。该平台还可以仅根据文本内容从零开始创建动画角色。


此外,Viggle自带多种视频模板,目前可支持更换绿幕背景、多人“换脸”等操作。



Viggle可生成背景是绿幕的视频(图源:Viggle)


除了免费的基础版,Viggle另外提供了增加视频容量的订阅服务“Viggle Pro”,价格9.99美元。当然,如果你入选了Viggle的创作者计划(the Viggle Creator Program),不仅免费订阅Viggle Pro,还能获得额外1000个积分(相当于250分钟的视频)、新功能的内测机会以及专属的创作者社区交流空间。


二、一个“真正懂世界”的3D动画AI模型,训练数据来源存争议


花费数十秒,即可实现AI文生动画、图生动画、视频生成动画,Viggle靠的是一个名为“JST-1”的3D动画模型。


Viggle联合创始人兼CEO楚航称,Viggle自主训练的JST-1 3D动画模型具备“真正的物理理解能力”。与其他AI模型相比,JST-1能够理解物理的结构和属性,分析用户的动作指令后,生成高可控性的指定动作。而不是像大多数AI模型那样,只改变图像的表层参数,最后生成不符合物理规律的、违背常理的角色动作。


对于AI模型的训练数据来源,Viggle高层说法不一。


Viggle联合创始人兼CEO楚航称,“到目前为止,我们一直用公开的数据训练模型”。


然而,后续Viggle发言人通过邮件确认,该公司确有使用YouTube视频训练AI模型,但整个过程中“Viggle遵守所有服务条款”,避免大规模下载视频,或采集可能未经授权视频。


据Viggle方面透露,公司与包括谷歌云在内的多个云服务供应商合作,以训练和运行其AI模型。一般来说,合作协议允许Viggle访问云服务提供商的GPU和TPU集群,但不会开放用YouTube视频训练其AI模型的权限。


今年4月,YouTube首席执行官Neal Mohan曾告诉媒体,使用YouTube视频训练AI文生视频应用“明确违反了”平台服务条款。当时,有市场消息透露,OpenAI可能将YouTube视频“喂给”其闭源模型Sora。后续Mohan进一步解释道,谷歌作为YouTube的母公司,可能会与某些创作者签合同,获得相应的视频授权,用于训练谷歌DeepMind的Gemini模型。但未经该公司许可,采集平台上的视频仍是不被允许的。


有媒体报道称,包括英伟达、苹果和Anthropic在内,许多AI模型供应商都曾使用YouTube的视频片段或转录文本进行训练。相似地,Viggle与其他将YouTube视频用作训练数据的公司一样,正处于法律的灰色地带。


结语:Viggle打开了创意可视化的新可能


现阶段用Viggle制作的动画整体效果较为粗糙,似乎主打“搞笑风”。例如,一些人物需要快速移动的场景,替换后主体人物会出现“缺胳膊少腿”的情况,或者画面清晰度较差、面部表情单一。



篮球和角色四肢都若隐若现(图源:TikTok)


但不可否认的是,Viggle开创了AI动画市场的新可能。


据Viggle联合创始人兼CEO楚航介绍,从用户画像来看,制作表情包、搞怪短视频的只占一小部分,JST-1的3D视频基础模型更多被应用于创意可视化领域。对于电影制作人、动画师和视频游戏设计师而言,该产品能够将他们脑海中的创意,转化为视觉草稿,辅助他们更高效地完成工作。楚航称,不少独立动画师和内容创作者已使用这项技术,Viggle也正在与电影和视频游戏公司讨论技术授权事宜。


虽然目前该AI模型只能创建单一角色,但楚航的野心不止于此,未来Viggle将尝试生成更复杂的视频。而1900万美元的新融资,也将帮助Viggle扩大市场和团队规模,并加速产品研发。


文章来源于“智东西”,作者“徐豫