MyTwins.ai优化数字分身技术，助力AI直播带货。

9月1日，「阿里云-云工开物」邀请了4位院士/教授，用“自己的数字分身”给大家讲授AI相关的知识。此次「开学季 Ai 第一课」采用的技术，是由36氪此前曾报道的「数字生命技术领域创新企业「MyTwins.ai」提供的。

张亚勤院士的数字人（采用MyTwins.ai数字分身技术生成） 图片来源：MyTwins.ai

本次公开课导师包括图灵奖得主John E. Hopcroft，中国工程院院士、清华大学智能产业研究院（AIR）院长张亚勤，浙江大学人工智能研究所所长吴飞，复旦大学计算机学院教授黄萱菁，阿里云高校合作部负责人李贝，向观众展示了教育领域可以用老师的数字分身来给学生讲课。

作为数字分身直播产品的提供方，MyTwins.ai在年初与淘宝知名头部主播陈洁Kiki合作后，持续进行了一系列技术迭代，现阶段已经能够让数字分身以不同的体态、表情、拍摄角度“出镜”，适应更多视频及直播环境。

数字人直播带货的概念在近年来逐渐火爆，成为电商竞争新赛道的同时，也掀起了数字人技术新一轮的发展浪潮。而在AI技术的支持下，数字人主播以其低成本的优势，吸引了大量的关注。

图片来源：MyTwins.ai

早期很多数字人产品，只能让数字人保持单一体态，根据口播内容做一些简单的口型变化和上肢动作。MyTwins.ai相关负责人告诉36氪，早期数字人受限技术而无法做到声音与口型同步，比如发“阿”的声音，嘴巴应该是张大的，数字人的嘴巴却是闭着的。

“后来我们采用3D Flame技术对人脸建模，通过声音驱动3D几何表征形变，再使用3D Gaussian进行渲染。在口型、表情、姿态的精准度上，远远高于传统的纯2D技术路线所展现的效果。”

此外，为了让用户快速拿到生成好的数字分身，降低产品的使用门槛，MyTwins.ai研发了一套通用模型。

该通用模型由两个模块构成：基于VAE的Audio2Motion（声音到3D几何驱动）算法，在3D几何空间上实现对口型、表情的驱动；3D->2D的人脸生成算法，渲染出高清晰度、口型贴合的数字人。

以前需要2-3分钟的视频素材，花费数小时的时间训练数字人；在技术组合迭代后，MyTwins.ai已实现用30秒的视频素材进行小样本微调，训练时间缩短到5分钟，有效提升了效率。

举例而言，在此次的「AI第一课」中，John E. Hopcroft数字分身建模的原视频便只有30秒，且在原视频清晰度较低的情况下，数字人精准还原了“表情、口型”等面部微变化。

当然，数字分身若想适应更多场景，还有很长的路要走。对于MyTwins.ai而言，现阶段直播带货依然是团队主攻的研发方向之一。

为了能够帮商家直播卖货做成交，MyTwins.ai自研了一整套直播行业AI解决方案，特别是针对直播行业的主播大语言模型。

对于很多商家——尤其是没做过直播电商的商家来说，从零搭建直播团队的成本和风险都不小。如果初期效果差，人员工资便是一笔不小的固定支出；效果好了，如果主播团队选择跳槽，那商家便又要从头开始。

MyTwins.ai基于多年在直播领域的数据积累，研发了直播行业主播大语言模型。商家只要输入“商品名称、卖点”即可用头部主播的讲品方法论，由AI自动撰写头部主播风格的商品卖货讲稿，还能在直播间实时回复用户的问题，促进成交转化。

“从海量的直播数据中，我们构建了优质的直播行业数据集，微调开源LLM，并从讲品风格、场景营造、深挖卖点、诱导消费等维度，让模型学习到头部主播带货的讲品精髓。”MyTwins.ai相关负责人表示。

艾媒咨询数据显示，2023年中国数字人带动的产业市场规模和核心市场规模分别为3334.7亿元和205.2亿元，预计2025年将分别达到6402.7亿元和480.6亿元。随着数字人产业的不断成熟，对于商家来说，数字人直播将有机会成为卖货的核心渠道。

文章来自微信 “ 36kr ”，作者 刘士武