Z Tech|专访张金涛:清华朱军教授的00后博士、Vidu S1负责人,让视频生成走向实时交互

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
Z Tech|专访张金涛:清华朱军教授的00后博士、Vidu S1负责人,让视频生成走向实时交互
7236点击    2026-07-14 10:36

Z Tech|专访张金涛:清华朱军教授的00后博士、Vidu S1负责人,让视频生成走向实时交互


2026年,视频生成赛道正在经历一场从“离线生成”到“实时交互”的范式转移。7月3日全球数字经济大会上——生数科技创始人朱军正式发布Vidu S1实时交互模型,让AI从“视频生成”正式迈入“实时交互”的新阶段。


在这一技术跃迁的背后,Vidu S1 的全链路负责人、一位00后研究者的名字正被越来越多人关注——张金涛。作为朱军教授的博士生,他从推理优化切入,以一系列底层工作撬动了视频生成从学术走向产品的关键一环。其中,SageAttention的GitHub星标已超3.5K;TurboDiffusion (超3.6K星标)、TurboServe等系统级方案,则为Vidu S1实现540P、40FPS实时生成与无限时长交互提供了底层支撑。张金涛曾获得字节跳动奖学金(全国<20人)、腾讯青云奖学金(全国<15人)、张钹人工智能奖学金(清华2人)等荣誉。


而他将各项工作做到极致,离不开深厚的科研土壤。他的导师朱军是清华大学计算机系教授、人工智能研究院副院长,并于2025年因其在概率机器学习与生成模型领域的卓越贡献入选ACM Fellow。其团队研发的扩散模型高效算法曾被DALL·E 2、Stable Diffusion等明星项目采用,视频大模型Vidu也被视为国内全面对标Sora的重要代表。


正是在这样的环境中,张金涛逐渐形成了一套鲜明的技术方法论——从底层算子到集群调度,从学术原创到产品落地,他不仅主导SageAttention、SpargeAttention、SLA、TurboDiffusion等多项顶会工作,更推动Vidu S1成为全球首批真正可交互、可实时生成的流式视频模型。


访谈中,他反复提及两个词:“本质”与“极致”。所谓本质,是穿透现象,找到真正限制系统能力的核心问题;所谓极致,则源自朱军教授“要做就做世界第一”的科研文化——不是寻找神秘的创新点,而是要求研究者清楚全球最高水平在哪,并确保每一个细节都没有明显短板。


在张金涛看来,大模型时代真正重要的竞争,并不仅仅发生在模型参数之间。相较于已相对成熟的离线视频生成,他更坚定地看好流式视频方向。在他看来,未来人类的视觉享受的内容不会是被提前生成好的内容,而会像游戏一样,持续响应用户输入、实时改变下一帧。AI不只是替代创作者生成视频,更可能成为人与数字世界交互的新媒介——视频模型最终要学习的,不仅是生成能力,更是不断对齐人类的视觉、娱乐与交互偏好。


从Attention加速,到实时视频系统,再到数据范式与人类偏好对齐,张金涛关注的从不是某一项孤立技术,而是一条底层演进的长线逻辑。长远来看,那些隐藏于系统底层的优化,或许才是决定下一轮AI竞争格局的真正暗涌。


在这篇访谈中,张金涛将首次系统讲述:从 SageAttention 到 Vidu S1,如何用一套底层优化的逻辑,撬动实时视频生成的未来。


  • 数据范式的变化,很多时候会比单纯改模型结构更本质。它改变的是模型学习问题的方式。


  • SageAttention 是首个用于加速注意力计算的工作。最高可以实现约 倍 Attention 算子加速,而且非常稳定。它不仅完成了低比特量化加速 Attention 从 到 的突破,也对这个方向做了系统性的解决。


  • 推理优化一直都很重要,尤其现在。首先模型要降低成本,就必须做推理优化。其次,推理速度本身就是智能水平的一部分。


  • 好的模型,很少是靠一个创新点做出来的,而是整个系统不断迭代、不断优化的结果。


  • Vidu S1 模型主要有几个突破:首先是动作自由度,用户可以直接用语言控制动作,不依赖预设动作模板。其次是实时生成能力,我们实现了 540P25FPS 的实时视频生成,最高可达 42FPS,并且可以超长(无限长生成)时间稳定运行。


  • 视频生成模型要对齐的,很大一部分是人类在视觉、娱乐和体验上的偏好......流式视频生成未来会非常关键。它不是简单地让视频生成更快,而是让视频模型从一次性生成内容变成持续生成交互体验


01 博士师从清华朱军教授,从学术研究到流式视频生成路


ZP:欢迎金涛。很多人认识你,是因为 SageAttention、流式视频等工作。但其实这些成果背后,也和你的成长经历、科研训练密切相关。能不能先简单介绍一下自己?另外,回头看一路走来的经历,你觉得哪些关键节点真正塑造了你的科研能力,也最终让你走到了今天这个研究方向?


张金涛:大家好,我负责生数流式视频生成和所有模型的推理加速与部署,也是最新发布的 Vidu S1 模型的负责人。


我从小对数学和物理就比较感兴趣,也一直比较喜欢追问底层规律。后来做科研也是一样,我读论文时,不只是关注方法本身,而是会把每一个公式、每一个设计背后的原因都研究清楚,希望真正理解作者为什么要这样设计。但真正让我科研能力发生比较大变化,还是博士阶段。我觉得,一个人的研究方向其实非常重要,它决定了你的能力能不能真正发挥出来。


博士阶段,朱军老师和陈键飞老师给了我一个非常好的方向,就是 ML System。做 ML System,比如做更高效的推理系统、更高效的训练系统,第一,你必须对大模型每个组件的输入输出、结构和算法非常了解;第二,你又要知道如何从系统层面提高效率,比如理解 GPU 的存储层、通信层、计算层,以及很多更底层的实现细节。


ML Systems 的挑战就在于,它要求你同时理解模型和系统。既要真正理解大模型本身,又要理解底层硬件和系统,思考怎样把整个训练和推理过程做到最高效。随着模型越来越大,推理系统和训练系统的重要性也越来越高,一个好的系统和一个普通的系统,效率可能相差四五倍,所以这里还有很多真正值得解决的问题,而不是简单做一些工程优化。


SageAttention 其实就是这样诞生的。当时很多人已经开始做 KV Cache 的量化,但几乎没有人系统研究过直接利用量化去加速 Attention 本身的计算。这个想法听起来很简单,但真正做出来之后却非常有价值。这里也要感谢陈键飞老师,很多工作我主要是和陈老师合作,他给了很多指导。


所以回头看,我最大的体会还是方向非常重要。一个方向里到底还有没有真正有价值的问题,直接决定了你有没有机会做出真正有影响力的成果。


ZP:在朱军老师课题组这些年,对你影响最大的是什么?有哪些科研理念、研究方法,后来一直延续到了你的工作里?


张金涛:我觉得有两点。第一点,朱老师经常说,要做就做世界第一。这个思想对我影响很大,我现在也一直在贯彻。那怎么才能做到世界第一?首先你必须知道现在世界第一的水平是什么。它具体怎么做,细节是什么,你都要非常清楚。如果你连当前最先进水平都不了解,就很难做到世界第一。


朱老师给我们创造了很好的交流环境。比如,组里本身就有很多做得好的工作、优秀的人,这都带来了有很多交流机会。他也支持我们去硅谷,去海外很厉害的实验室交流。我之前也去过 Berkeley Sky Lab。很多人可能觉得交流是浪费时间,或者觉得聊一聊没什么用,但实际上这些交流真的会提高你的认知。比如你能认识一些在 OpenAI、Berkeley Sky Lab 这些地方的朋友,你会更深入地了解他们在做什么,也会主动和他们讨论一些问题。这样你会持续知道当前世界最好的进展是什么。


在了解最先进水平之后,还要能做到两点。第一,你要知道当前最好的方法还有什么更本质的问题,并能想出简单且本质的解决方案。这个非常考验思维能力,不一定是数学功底多强,也不一定是每天花多少时间,而是你能不能看清问题本质。以 SageAttention 为例,我们发现 K 矩阵很难量化。那就要把它可视化出来,从更底层分析,到底是哪些数值导致量化误差大。找到原因之后,其实就能想到,把每列均值做一个减法,就可以在不影响 Attention 计算逻辑的情况下实现几乎无损的量化。


第二点,是朱老师非常强调把每个细节做到极致。GPT-3.5 刚出来的时候,朱老师也说过他们会把每个环节都做到尽可能没有 bug,把每个步骤都做到当下的极致状态。我感觉很多模型公司训不到 SOTA,不一定是因为方法不行,很可能只是代码里有一个 bug 没被发现。能不能建立各种机制,保证每个环节都做到极致,这件事非常重要。这里的极致不是说一定要提出一个多么复杂、多么花哨的方法,而是说你选择的方法是不是有道理,是不是当前比较正确的方法,你有没有把它实现对、执行到位。


还有一点,朱老师鼓励我们和业界的真实问题结合。我觉得这一点也很重要,它会极大地放大你解决问题的动力,也让你的工作更容易落地。我在Vidu上做SageAttention的那段时间,其实是最开心的。当时是24年5月,为了让 Vidu 全球上线时用上 SageAttention加速,我会一点点去解决问题,把 GPU 里每个线程的数值打印出来,去找错误。最后我们确实在24年6月把 SageAttention 接进了产品。用 FlashAttention 跑出来的结果,和用 SageAttention 跑出来的结果,在像素级都能 match,精度完全一致,但端到端速度更快,成本也下降,用户体验也提升了。你在工业界环境里解决真实存在的问题,解决完之后,这个工作就是有影响力的,也会很有成就感。


ZP:你当时为什么选择加入朱军老师课题组?站在今天回看,这个选择对你后来的科研路径意味着什么?


张金涛:其实本科时,我就一直关注朱老师。朱老师一直是国内机器学习领域最有影响力的学者之一,无论学术水平还是人才培养,在业内都享有很高的声誉。我也了解到,他培养了很多优秀的学生,因此一直认为,如果有机会加入这样的课题组,应该能够接触到更前沿、更本质的机器学习研究。


后来我和老师进行了两次沟通。第一次主要了解相关情况,第二次便决定加入朱军老师课题组。


现在回头看,这应该是我科研道路上最重要的一次选择。它不仅让我真正从数据库系统转向机器学习,也让我进入了一个能够持续接触国际前沿研究、不断提升科研标准和研究能力的环境,对后来的科研方向产生了非常深远的影响。


ZP:这些年朱军老师的实验室持续产出了很多有影响力的工作。站在你的角度看,这个实验室为什么能够不断培养出优秀的研究者,并持续做出原创性的成果?


张金涛:我觉得主要有三个原因。


首先,是朱老师本身的学术影响力。朱老师来到清华之前,就已经是机器学习领域的一个新星。优秀的导师会吸引优秀的学生,而优秀的学生又会继续吸引更多优秀的人加入,这是一个持续强化的正向循环。所以实验室一直能够汇聚一批非常优秀的研究者。


第二,我觉得是科研文化。朱老师在海外高校和微软研究院都有很长时间的经历,对国际顶尖实验室的科研方式非常熟悉,也把这种文化带到了实验室。我刚进组的时候,就觉得整个实验室非常现代化。组会、协作、沟通都有一套成熟规范的流程,同时又给学生足够大的自由度。这种氛围后来我去 Berkeley Sky Lab 的时候也看到过,非常接近国际顶尖实验室的运行方式。大家关注的始终是如何把研究做好,而不是消耗在各种事务性工作上。


第三,是朱老师愿意把最重要的资源真正交给学生。一方面,他会尽量减少学生在项目申请、行政事务上的时间消耗,让大家能够专注科研;另一方面,他也会积极争取算力、工业界合作等资源。如果学生希望去解决工业界的真实问题,他也一直非常支持。


我觉得最重要的是,朱老师始终相信学生,也愿意把资源、机会和信任交给学生。在这样的环境里,大家能够真正专注于科研,不断挑战更有原创性的课题。所以这些年实验室才能持续培养出很多优秀的研究者,也持续产出有影响力的工作。


02 从SageAttention到流式生成的突破


ZP:很多人最早认识你,是因为 SageAttention。能不能介绍一下,这项工作最早是在什么背景下做出来的?它的核心突破是什么?


张金涛:SageAttention 大概是在 2024 年 5 月到 6 月做出来的。当时 Vidu 差不多 6、7 月全球上线,朱老师专门拉了一个 Vidu 加速的小方向。我在里面主要负责 Attention 加速,也负责一部分其他算法加速。那个时候SageAttention 已经做出来了。论文挂出来大概是 2024 年 9 月底,因为当时投 ICLR,截稿时间在 9 月底左右。这一点我还是比较自豪的。哪怕把时间线放宽到 2024 年 9 月,也几乎没有工作能够做出一个真正可用的、通过量化来加速 Attention 计算的工作。这个 motivation 其实很清晰,但之前就是没有人做,或者没有人做到。


Z Tech|专访张金涛:清华朱军教授的00后博士、Vidu S1负责人,让视频生成走向实时交互


简单来说,SageAttention 是一个 Attention 算子的高效实现,和 FlashAttention 类似。你可以把大模型 Transformer 里的 Attention 算子替换成 FlashAttention,也可以替换成 SageAttention。SageAttention 进一步利用量化来加速矩阵乘法,从而实现更高加速。


更具体地说,SageAttention 是首个用于加速注意力计算的工作。它后来形成了一个系列,包括 SageAttention、SageAttention2、SageAttention3,分别发表在 ICLR、ICML、NeurIPS 顶会上。最高可以实现约 5 倍 Attention 算子加速,而且非常稳定。不管输入的 Q、K、V 是什么形状,通常都能稳定获得加速。Attention 在整个大模型里非常特殊,因为它是唯一计算复杂度和序列长度呈平方关系的算子。现在大模型越来越往长序列方向走,尤其视频模型,一个 5 秒的视频,序列长度可能就是几十万。在这种复杂度下,Attention 优化非常重要。


SageAttention 在推理上最高可以实现约 5 倍加速,同时我们又提出了用于训练加速的 Attention 方法。可以说,它不仅完成了低比特量化加速 Attention 从 0 到 1 的突破,也对这个方向做了系统性的解决。从 8-bit 到 4-bit,从推理到训练,都进行了比较深入的探索。从影响力上看,SageAttention 被 Nvidia、AMD、Google、华为、Meta、字节跳动、腾讯等 约 200 家企业的真实产品采用,某种程度上已经成为了一个行业标准,创造了大量经济效益。


Z Tech|专访张金涛:清华朱军教授的00后博士、Vidu S1负责人,让视频生成走向实时交互


ZP:当时做 SageAttention 的过程中,最困难的问题是什么?有没有哪个技术瓶颈,一开始大家都觉得很难突破?


张金涛:我觉得有两个难点。第一个难点偏工程。首先,不同于线性层的简单矩阵乘法可以通过pytorch简单实现,高效 Attention 计算是与硬件紧密耦合的,必须通过复杂的底层代码进行高效的硬件实现;首先把 kernel 写出来本身就有难度;其次,你还要保证这个 kernel 的精度和速度都是对的。它既要把 GPU 上低比特计算单元的速度利用起来,又要做精度上的 bitwise 对齐。这个比较难。当时我只能很耐心地一点点解决,把每个 GPU 线程的数值打印出来,再做模拟,从第一性原理、最底层去验证、去排查问题。


第二,注意力算子和线性层不一样,它的精度对低比特量化非常敏感比如,把线性层量化到 8-bit 后,很多任务的效果基本不会明显下降;但如果直接把 Attention 量化到 8-bit,很多任务的结果可能就会变得不可用。因此,我们必须找到一种方法,既能利用低比特计算带来的加速,又能尽可能保证模型精度。当时比较幸运,也是在陈键飞老师的指导下,我们发现 K 矩阵中存在一些具有规律性的异常值。进一步分析后,我们发现可以通过一个简单的减法操作去除这些异常值,而且不会改变 Attention 本身的计算逻辑。这一点如果不做比较本质、比较底层的分析,其实是很难发现的。


ZP:你的很多研究都围绕模型推理展开。从科研或产业的角度看,你为什么一直坚持做推理优化?


张金涛:推理优化一直都很重要,尤其现在。首先,一个模型公司如果想赚钱,前提是在模型质量足够好的情况下,定价要高于成本。要降低成本,就必须做推理优化。其次,我一直认为推理速度本身就是智能水平的一部分,如果给足够的时间,很多复杂任务都不难解决。


不过,如果说我过去只做推理加速,其实也不完全准确。我更关注的是推理速度和模型效果的综合优化。比如 SpargeAttention、SLA 这类工作,我们发现很多情况下,把 Attention 的稀疏度拉到 90%,也就是剪掉 90% 的计算,它的效果反而比之前还要好。所以我之前做的很多东西,并不只是让模型跑得更快,也是在考虑怎样同时提高推理效率和模型表现。


ZP:从 SageAttention 到后来的 TurboDiffusion、TurboServe,再到今天的实时视频生成,你觉得这些工作之间的关系是什么呢,前面的工作如何更好地服务Vidu S1呢?


张金涛:我觉得是有关系的。流式视频生成至少要做到在足够快速的推理的前提下流式地生成尽可能高质量的画面。所谓足够快,是指要满足实时生成的要求,比如每秒能生成 30 帧。如果你一秒只能生成一帧,那就意味着你可能要花 30 秒才能生成一个人类一秒钟要看的内容,这显然不是真正实时。如果不考虑推理速度,我们当然有很多方法可以生成一个人类愿意看的东西。比如可以把模型堆得特别大,每一秒视频都花一分钟去生成。但如果要做实时生成,而且要可交互,就不能只关注生成范式与生成质量,必须在非常强的推理速度约束下做模型。


所以从基本原理上,我过去做的 Attention 优化、推理优化、推理效果优化,和流式视频生成是非常相关的。尤其在流式视频模型里,Attention 的设计非常关键。你怎么设计稀疏、怎么设计可训练的 Attention,和我之前做的很多工作都有联系。


Z Tech|专访张金涛:清华朱军教授的00后博士、Vidu S1负责人,让视频生成走向实时交互


此外,TurboDiffusion 是一个更系统的 Diffusion 推理加速框架,其核心技术是我们团队自研的 SageAttention、Sparse-Linear Attention(SLA)、rCM 步数蒸馏和线性层量化。通过注意力加速、步数蒸馏和低比特量化的联合优化,TurboDiffusion 实现了视频生成从离线慢速采样到低延迟、高吞吐、可交互推理的转变。TurboServe 则是一个对流式视频生成的用户请求做调度的工作。这些工作都很好地保障了Vidu S1的实时推理与全球上线。


03 Vidu S1 流式视频,从系统能力到落地场景


ZP:生数这次流式视频模型最大的技术突破发生在哪里?相比过去的数字人或视频生成模型,它具体解决了哪些问题?为什么选择数字人作为第一个落地场景?


张金涛:我觉得这次流式视频最大的突破,不是来自某一个技术点,而是整个系统能力的提升。


很多人会觉得,一个模型变好是不是因为改了 Attention,或者换了一个新的模块。但真正做商业模型不是这样。数据、训练流程、工程实现、推理优化、代码质量,每一个环节都会影响最终效果。好的模型,很少是靠一个创新点做出来的,而是整个系统不断迭代、不断优化的结果。


相比现有产品,我们主要有几个突破。


第一,是动作自由度。过去很多数字人模型本质上只是语音驱动口型,再带一点表情变化。我们的模型支持全身或半身生成,用户可以直接用自然语言控制动作,比如抬手、转头、抬腿、比心等,不依赖预设动作模板。


第二,是实时生成能力。我们实现了540P、25FPS的实时视频生成,最高的推理速度可以达到42FPS,而且是在相对较低的算力成本下完成的,只需要消费级显卡就可以。


第三,是超长时间稳定运行。用户可以连续交互几个小时,画面依然能够保持稳定。


第四,是高度自由的角色定制。用户可以上传任意真人、二次元、萌宠等形象,也可以设置任意音色(支持声音克隆),不需要像传统数字人一样,为每一个角色单独训练很长时间。上传图片、配置音色之后,就可以直接开始实时交互。


我觉得这些能力组合在一起,才是真正让流式视频开始具备产品化和规模化应用的基础。


Z Tech|专访张金涛:清华朱军教授的00后博士、Vidu S1负责人,让视频生成走向实时交互


我们这次选择数字人作为第一个场景,也是因为我们认为,如果数字人真正做好做到极致,它会是一个非常大的市场。


04 视频生成的下一站


ZP:如果从更本质的角度看,你觉得视频生成接下来两三年的关键变化是什么?视频模型未来到底应该对齐什么?


张金涛:我觉得首先不能只把视频生成理解成“输入一段 prompt,然后生成一段视频”。如果只从这个角度看,大家可能会关注分辨率更高、时长更长、画面更稳定,这些当然都很重要,但它们还不是最本质的问题。


更本质地看,AI 最终还是要满足人的需求语言模型满足的很多是任务需求,比如回答问题、写代码、做推理、解决复杂任务。所以语言模型对齐的是人类在“问题解决”上的偏好:答案是不是准确,逻辑是不是清楚,过程是不是可靠,结果是不是有用。


视频生成模型不太一样。视频生成模型要对齐的,很大一部分是人类在视觉、娱乐和体验上的偏好。人类想看好看的画面、好看的风景、好看的电影,也想玩好玩的游戏;人类不只关心画面像不像真的,还关心它美不美、动不动人、节奏对不对、角色有没有吸引力,以及这个世界能不能对我产生反馈。


所以我觉得视频生成未来的关键变化,不只是从“生成得不够好”变成“生成得更好”,而是从“生成一段内容”走向“生成一种体验”。


离线视频生成当然会继续重要。它可以用于电影、广告、短片、精准剪辑和内容创作,对应的是高质量的内容生产。但人类还有很多需求,本质上是实时发生的。比如你喜欢一个人,你不会只满足于每天看他的照片,或者看他提前录好的视频;你会想和他说话,想见到他,想看到他对你产生即时反应。游戏也是一样,真正吸引人的不是看一段提前录好的内容,而是在一个世界里行动,并且立刻得到反馈。


从这个角度看,流式视频生成未来会非常关键。它不是简单地让视频生成更快,而是让视频模型从“一次性生成内容”变成“持续生成交互体验”。未来的视频模型需要持续接收输入、持续生成画面、持续理解上下文,并且以很低的延迟给出反馈。


所以我认为,视频模型最终要对齐的不只是“真实感”,而是更广义的人类视觉偏好、娱乐偏好和多模态交互偏好。它的目标不是只生成更像真的视频,而是生成更让人愿意看、愿意玩、愿意停留、愿意参与其中的实时体验。


ZP:如果把问题再抽象一点,不只是看视频生成,你觉得接下来 AI 模型能力继续提升,最关键的变量是什么?


张金涛:我觉得最关键的还是数据。当然模型结构、优化方法、推理系统都很重要,但如果问什么东西最接近能力的源头,我会选数据,尤其是数据的表示方式、数据质量和数据的可学习性。


可以打一个比较准确的比方。模型建模有点像一个人的智力底子,好的建模可能相当于 150 的智商,差一点的建模可能相当于 140 的智商。这个差距当然存在,但当模型已经足够强之后,更大的差别可能来自“老师”和“教材”。


数据就像老师和教材。同一个知识点,一个好老师可能十分钟就能讲明白,因为他知道怎么组织信息、怎么拆步骤、怎么把复杂问题讲得容易理解;但如果教材很差、讲法很乱,你可能看十个小时也学不会。这时候问题不完全是学生智商不够,而是学习材料本身不可学习。


AI 也是类似的。模型不是凭空获得能力的,它要从数据里学。如果数据只给它一个问题和一个答案,中间过程全部缺失,那模型就要自己去猜这个跳跃是怎么发生的。对于简单问题,这可能没关系;但对于复杂问题,这个跳跃太大,模型就很难稳定学会。


语言模型里的 reasoning 就是一个很好的例子。我不认为 reasoning 本质上是一种新的模型建模,它更像是一种新的数据范式。以前的数据可能只是 A 到 B:给一个问题,再给一个答案。但 reasoning 数据把中间路径展开了,告诉模型这个问题怎么拆、每一步怎么推、哪里需要验证、哪里可能出错。这样,模型学到的就不只是答案,而是从问题走向答案的方法。


所以我会说,数据范式的变化,很多时候会比单纯改模型结构更本质。它改变的是模型学习问题的方式。


这个逻辑放到视频生成里也一样。尤其是未来流式视频生成和实时交互视频,模型不能只学“最后生成什么画面”,还要学“过程如何连续发生”。它要理解状态变化、动作反馈、上下文延续和多模态交互。这就要求数据不只是规模更大、清晰度更高,而是更有结构、更容易学习,更能表达人的视觉偏好和交互偏好。


所以从这个角度看,我觉得未来两三年最关键的问题,不一定是谁又提出了一个完全不同的模型架构,而是谁能构造出更好的数据范式。模型决定了能力的承载方式,但数据决定了模型到底学到什么,以及能不能高效地学会。对于视频生成来说,谁能把人类的视觉偏好、娱乐偏好和实时交互过程更好地组织成可学习的数据,谁就更可能推动下一阶段的突破。


ZP:如果回顾从 SageAttention、TurboDiffusion、TurboServe,到这次实时视频生成的整个过程,你希望行业未来如何评价这些工作?以及你认为这套工作的最大价值是什么?


张金涛:我觉得我们这次做了很多比较开创性的东西。比如,我们首次把“用语音控制数字人全身动作”做到一个真正可以被调用、可以被体验的状态。我们的 API 也已经开放出来,大家可以直接使用,能看到它支持无限长、实时生成,而且成本很低。


当然,它肯定还不是一个完美的模型。大家在使用过程中也会看到它的一些问题和不足。但我们一开始的选择,并不是只剪几个精美的 demo 去做宣传。很多模型发布时,可能会放出一些非常漂亮的片段,但不一定真的可用。我们这次更希望把真实能力直接交给大家,所以没有刻意隐藏问题,而是把前端和API都开放出来,让用户自己去试、去感受。这件事其实也有压力,意味着要拿出真实的推理资源,也意味着模型的缺点会非常直接地暴露在所有人面前。但我觉得这是值得的。一个新方向刚开始出现时,它不一定是完美的,更重要的是它能不能让大家看到一种新的可能性。


所以我希望大家最终评价这项工作时,不只是看它还有哪些不足,也能看到我们确实比较早地做出了一些开创性的探索,并且用一种比较坦诚的方式把它开放给大家。这个模型还会继续迭代,但至少它已经让行业看到:一个流式视频模型、一个可以实时交互的数字人系统,未来大概会长成什么样。


文章相关信息:

  • Vidu S1 使用说明:https://shengshu.feishu.cn/wiki/PSlDwao9GiEGOKkWS2FcWRtOnwe
  • 立即体验:https://www.vidu.cn/vidu-stream
  • API 开放平台:https://platform.vidu.com/live/landing
  • Paper: https://arxiv.org/pdf/2607.03118
  • Github: https://github.com/shengshu-ai/Vidu-S1


请注意,此次访谈内容已经过精心编辑,并得到了钟元鑫的认可,仅代表受访人观点。我们也欢迎读者通过留言互动,分享您对本访谈的看法。


文章来自于"Z Potentials",作者 "Z Potentials"。

关键词: AI新闻 , AI访谈 , 张金涛 , Vidu S1
AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
声音克隆

【开源免费】MockingBird是一个5秒钟即可克隆你的声音的AI项目。

项目地址:https://github.com/babysor/MockingBird

2
数字人

【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,

“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。

项目地址:https://github.com/xszyou/Fay

3
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0

4
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales