图片来源:Cartwheel
在几秒钟内快速生成富有表现力的动画,视频来源:Cartwheel
众所周知,游戏、电商、影视、医疗、工业等领域对3D内容的需求较大,并且随着沉浸式娱乐(VR/XR设备)的渗透,对3D内容的需求会日益增长。传统的3D制作领域面临诸多挑战,从原画设定到搭建模型再到动画制作等多个流程,面临包括精度与效率的平衡难题、数据安全与隐私保护的高风险、跨平台兼容性的不足、复杂模型的几何处理需求、实时光线追踪技术的限制、生产环节分散导致的成本高昂和产能不足,以及高质量3D数据的稀缺性和昂贵性等问题。这些问题共同构成了3D制作行业的痛点,行业内一直致力于通过各种类型的技术创新和流程优化来解决。
AI技术的迅猛发展激发了全球大型企业和初创公司在3D生成技术领域的探索热情。在这场技术革新的浪潮中,3D建模的传统方法,如点云、多边形网格、体素以及NeRF等,正逐渐与新兴技术融合。科技巨头如Google、OpenAI、Nvidia正通过各自的技术模型和路径,在3D生成领域进行各自的创新探索。
与此同时,一些初创企业也在3D生成技术的道路上展现出各自的特色和专业方向。Cartwheel便是其中一家独具匠心的初创公司,它侧重于快速生成多样化的3D角色动作效果,极大地简化了3D角色动画的制作过程。
图片来源 :Cartwheel
Cartwheel是一家由Jonathan Jarvis和Andrew Carr在2023年共同创立的AI 3D动画生成初创公司,总部位于美国纽约。该平台允许用户在可编辑的3D资产上合成运动,仅需一键操作,用户即可快速定制角色动作、调整摄影机视角、控制动画速度、更换背景以及调整画面比例,同时还能够添加并编辑文本。用户可以轻松生成各种动作的角色,支持动画直接导出至多种3D编辑软件,以下是其技术的特点:
1.文本驱动的动画生成:Cartwheel开发的工具实现了文本到动画的直接转换,自动化地根据用户输入的文本描述生成动画内容。
2.自动化运动合成:提供在3D资产上合成运动的能力,使用户能够轻松地为角色添加动作,调整摄像机角度和运动速度,无需手动进行繁琐的动画制作,以匹配剧情节奏或创造特定的视觉效果。
3.高质量人体运动的深度学习模型:动作通过矩阵形式表示,包含姿势、时间和速度等多维度信息,形成动作矩阵。将传统动画技术,如关键帧设置、曲线编辑、逆向运动学(IK)、混合和运动变形,与深度学习技术如transformers和diffusion模型结合起来,形成高质量的人体运动深度学习模型,这个模型将动作矩阵与文本描述相结合,形成动作-语言对,用户可以仅用几个词就能创造出独特、逼真的人类动作。
如何通过奖励机制训练AI模拟出既准确模仿又具有独特风格的虚拟角色动作,图片来源:youtube
如何通过控制运动学能量来影响模拟角色的动作风格定制,图片来源:youtube
4.符合道德标准的数据来源:数据来源于多个渠道,并且确保数据的收集和使用遵循伦理规范,保护隐私,合法合规。
5.专业标注者:系统使用人工标注者对动作数据进行分类和描述,为机器学习模型提供训练数据,使其能够理解和学习动作。
6.与现有3D工作流的无缝集成:该平台能够将动画导出为标准的3D格式,再导入到Maya、Blender、Cinema 4d、3DS Max、Houdini中进行精细编辑,也能够直接导入Unreal Engine、Unity、Godot、O3DE等游戏引擎,非常适合战斗、NPC、动画列表和过场动画。
7.简洁的用户界面:Cartwheel注重提升用户体验,通过简化操作流程和提供直观的用户界面,使得即使是非专业的动画制作者也能快速上手并制作出高质量的3D动画。
在Cartwheel的平台上,用户可以通过如下步骤来生成3D角色动作:
图片来源:Cartwheel
图片来源:Cartwheel
图片来源:Cartwheel
图片来源:Cartwheel
图片来源:Cartwheel
通过这一系列精心设计的操作流程,用户能够高效且便捷地创造出符合自己创意愿景的3D动作角色。
3D角色展示区,包括僵尸步、capoeira(巴西的武术和舞蹈)、喝水、劈柴、斯底里地笑等复杂动作
图片来源:Cartwheel
Cartwheel的商业愿景不在于取代现有的动画师或艺术家,而是在于简化和自动化那些重复且耗时的基础动画制作任务,从而释放创作者的时间和精力,让他们能够专注于更高价值的创造性工作。业界已经广泛接受将AI工具作为节省时间的助手,关于AI取代创造性工作的讨论,Cartwheel的立场是:它实际上扩展了创作的可能性。
在像皮克斯这样的顶尖动画工作室和普通手机用户之间,存在着广阔的中间地带,Cartwheel的目标是服务于这个中间地带,为那些专业的动画工作室、游戏开发者、广告创意人以及独立艺术家们提供一个强大的工具,帮助他们克服技术壁垒,激发创造力。
“你得到的动画平均而言大约完成了80%。”公司表示,“它可以产生令人印象深刻的专业级结果,有时候会出错,但它比传统的动画工作流程要快得多,也简单得多,特别是在一个过程中有多个艺术家共同工作,甚至小的调整也需要沿着生产线上下传递的环境中。”
在广告中添加Cartwheel制作的复杂的3D角色动画,且无需花费大量资金,视频来源:Cartwheel
为VR和AR创建完整的360°3D动画,视频来源:Cartwheel
Cartwheel团队是一个多元化的小型精英团队,成员们通过远程协作紧密联结,其中既包括了极具创意的艺术工作者、也有具备严谨的工程思维以及计算机机器学习背景的成员。他们共同以创新精神和专业技能,推动3D动画技术的突破与应用。
图片来源:Cartwheel
Jonathan Jarvis,公司联合创始人兼CEO,毕业于美国宾夕法尼亚大学沃顿商学院,同时拥有ArtCenter College of Design的媒体设计学位,在创立Cartwheel的同时,他还经营着动画和游戏工作室Universal Patterns,该工作室曾与Ray Dalio合作经济类电影《不断变化的世界秩序》。在创业之前,他曾作为创意总监在Google工作长达6年多,与机器学习、搜索、Android和Workspaces团队一起设计并推出了许多新产品和功能,并曾经领导了新的Google品牌识别和徽标系统的设计,并与Creative Lab团队一起创建了若干个全球营销活动。
来源:linkedin
Andrew Carr,公司联合创始人兼首席科学家,毕业于美国杨百翰大学,拥有扎实的应用数学和计算机科学的背景。在创办Cartwheel之前,他曾经在Lyft从事基于物理的自动驾驶汽车预测工作,在Google Brain从事音频理解的自监督模型,在OpenAI从事程序合成的语言模型工作。
来源:linkedin
Cartwheel在2024年6月获得由知名VC Accel领投的560万美元种子轮融资,Khosla Ventures、Human Ventures、Heretic VC、MVP Ventures、Correlation Ventures、Pelion VC和少数天使投资人也参与该轮融资。
“Cartwheel将使3D动画的制作比以往任何时候都更加容易。以前需要一天时间来完成的工作,现在只需几秒钟,将制作过程加速了接近100倍,让艺术家们有更多的时间来探索和创作。这也意味着更多的人可以通过动画的形式来讲述令人难以置信的故事,而专业动画师则可以承担更大、更有雄心的项目。”投资方Accel的Dan Levine这样说。
作者:Bei Sun
References:
https://techcrunch.com/2024/06/05/cartwheel-generates-3d-animations-from-scratch-to-power-up-creators/
https://www.accel.com/noteworthy/our-seed-investment-in-cartwheel-making-3d-animation-more-accessible
https://jonathanjarvis.com/
https://getcartwheel.com/home
https://www.youtube.com/watch?v=3IFLVOaFAus
文章来自于微信公众号 “Z Potentials”,作者“Bei Sun”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】LGM是一个AI建模的项目,它可以将你上传的平面图片,变成一个3D的模型。
项目地址:https://github.com/3DTopia/LGM?tab=readme-ov-file
在线使用:https://replicate.com/camenduru/lgm
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner