实时视频AI第一份公开成绩单出炉！最高才15分，37个模型全军覆没

家人们，上次我写摄像头体感交互应用，评论区有位家人问：“测试视频怎么是个男的？”

让我们编辑部男同事郁闷了半天，“下次别让他出镜，再不济也要P成你。”

满足你！

让同事继续负责表演，画面里换成本瑶出镜。

我要撒娇，他也得撒娇；我要飞吻，他也得飞吻。

（Ps：同事负责演，我负责出镜，嘿嘿，编辑部的分工又细了一点。）

怎么样，是不是有点东西！

这件事放在普通的视频生成上，问题其实不大。出来一段视频，好不好看一眼就知道。但实时视频不一样。

它是一条一直往前走的流。你第 10 秒让它换件衣服，第 40 秒又想换回来，第 90 秒说算了还是第一件好看。每插一次话，模型都得同时搞明白三件事：

• 现在要改什么。
• 哪些东西不能动。
• 之前改过的，还算不算数。

那问题就来了：这玩意儿到底怎么测？

总不能截一帧好看的图，就说模型懂我了吧。

然后我发现，这事还真有人认真做了。

◽一张公开的考卷

10 月 20 日，arXiv 上挂出了一篇论文，叫 StreamEval: Evaluating Interactive Streaming Video Generation Models。

论文链接：

https://arxiv.org/abs/2610.28402

看署名，阵容挺硬的：清华、英伟达、CMU、UC Berkeley、普林斯顿、新加坡国立大学，还有 Reactor。

StreamEval，是全球首个⾯向实时交互视频的benchmark。

目前，这个benchmark已经开源，做了一件事：把“实时交互好不好”这件只能靠感觉判断的事，变成公开考卷。

科研机构、企业模型团队、个人开发者能参与：接入模型、复现结果，或者研究案例，把发现的问题+想补的考题直接反馈给维护团队。

代码、案例和评分规则都公开，大家也能反过来讨论：题目出得合理吗，分数判得准吗？这样，模型的进步有据可查，评测本身也能在共同参与中不断完善。

这套基准一共 300 道题，规模不算大，分成五类，每类 60 道：

• 数字人对话
• 数字人表演
• 世界生成
• 文字指令编辑
• 参考图编辑

基本把实时视频现在最火的三个方向都包进去了：数字人、虚拟世界、正在播的视频里的实时修改。

论文一口气测了 37 个模型、47 组组合，前面我玩的那些，换人、换造型，对应的是参考图编辑，“小瑶版”数字人接话、做动作，对应的是数字人对话和表演。

比较有意思的地方，是它的出题方式。

每一道题包括三个元素：

起始素材：人物图、源视频、语音或者参考图。

输入时间线：第几秒，发出哪条新要求。

判卷依据：论文里叫 oracle，写清楚每条要求送达之后，哪里该变，哪里必须保留。

论文中展示了一个非常典型的“披风实时编辑”案例：

这段人物视频的时间线设置是0 秒开始使用“红色丝绒披风”参考图，10 秒切换为“金色缎面披风”参考图，20 秒：取消修改，恢复当前源画面。

这里有一个测试陷阱：

在 20 秒取消修改时，画面恢复的应当是当时时点的源画面，人物与动作绝不能“滚回”到最初起点。

结果，在测试中金色参考图生效阶段抽样的两张输出里，披风依然是原来的灰色——背景和场景虽然保住了，但新外观要求却没有真正换上去。

我也用 Vidu S2 试了试“连续换衣服”：视频里我一直在不停切换第一套、第二套、第三套参考图，而视频流持续往前走。

除了任务类型，题目还按时长分了五档：15 秒、30 秒、60 秒、120 秒、300 秒。

短的看反应快不快、执行到不到位。长的看能不能扛住：要求叠了好几轮之后，它还记不记得前面答应过什么。

◽评测规则

StreamEval 把能力拆成了 4 个维度、10 项指标，每项 0 到 100 分，规则含盖非常全面：

• 任务执行
• 状态一致性
• 视觉保真度
• 声画协调

不同任务只用跟自己相关的指标。

拿参考图编辑来说，它要同时盯三件事：参考图上的样子有没有用上，不该改的地方和原来的动作有没有保住，以及这次编辑到底算不算完整成功。

Ps：所以，在上面换衣服的Case中，即使衣服换对了，但把人物手里原本拿着的杯子给改没了，在 Edit Success 指标下依然算失败！

◽评测方法

评测打分的过程分为两步：

1. 视觉语言模型（VLM）先提取结构化观察（比如某一时刻出现了什么缺陷、外观是否匹配、指定动作是否发生）；
2. 固定规则结合案例规定的时限和验证窗口，将观察转化为精准分数。

没输出、不支持某项必要操作，直接记零分。

还有一点我一开始没想通，后来觉得特别对：

五类任务各排各的，不合并成一个总榜。

数字人聊天和生成一个虚拟世界，根本不是一回事。硬加在一起啥也说明不了，分开测更有参考意义。

◽37个模型，差距在哪里？

论文公布了各模型的测试成绩：

五类任务中，生数科技的 Vidu S2-Avatar 拿到了数字人对话、表演两项的综合分第一：

S2-Editing 在两类视频编辑中领先：

港大、快手可灵等团队提出的MemFlow，¬则在世界生成中排名第一：

如果我们仔细拆解具体分项，会发现实时视频生成行业目前面临的真实困境：

比如，Vidu S2-Avatar 的表演稳定性是97.25，动作跟随是36.90。

而36.90，已经是这项任务里七个模型的最高分了。。。。

（这其实在我把玩 Vidu S2-Avatar的时候就有感觉到：虽然数字人可以保持得很稳，画面也挺顺，但让它抬手、转头、做指定动作，有很大的改进空间。）

严格编辑（Edit Success）难如登天。。。。

在参考图编辑任务中，考查最严苛的“完整编辑”指标，全场最高得分仅为 15.00 分！

其他没拿到榜首的模型分开看其实也是各有“错位优势”：

• Tavus CVI Full在对话中的音画同步率领先；
• LiveTalk 1.3B在表演画质上表现最优；
• JoyAI-Video-Edit在指令编辑中能更好地保留原视频中不该改变的内容；
• Krea Realtime虽在世界生成综合分上落后，但其指令跟随得分达到了全场最高的 25.93。

借助StreamEval 基准评估到的这些错位优势数据，具有极高的选型价值：实时试衣最怕哪种失误，聊天角色最依赖哪项能力，都能够回到对应指标和输出记录里看。

◈为什么做一个实时视频生成的benchmark

我认为，StreamEval 对整个行业最大的价值，在于把实时视频生成的“可控性”，从一个抽象的概念变成了一组公开、可复查、可量化的标准。

何时修改、保留什么、如何恢复、怎样计分，从此都有规可循。

氮素，这套基准也确实需要继续验证。

比如自动评分还需与人工判断对照，5分钟的案例之外，还要补充更长会话、复杂场景，以及实际部署中的帧率、时延和成本测试等等。

目前，StreamEval 已公开发布了评测代码、案例时间线、数据集与评分规则，放上链接：

GitHub：

https://github.com/StreamEval/Stream-Eval-Open 

Leaderboard：https://streameval.ai

论文：https://arxiv.org/pdf/2610.28402

有模型或 API 开发能力的家人们，可以直接参照 GitHub 仓库的接入文档自己配一下，跑跑看自己的模型能拿多少分。

StreamEval 将长期维护，每月都会评测新增模型和更新后的模型，并在榜单上公布最新测试结果。

企业、科研机构和个人开发者，都可以通过官网“Evaluate your model”入口提交模型信息，也可附上自测结果。结果经审核验证后，将被纳入后续榜单。

随着更多模型和版本加入，今天没接住的一个动作、一次切换，到了下一版，就能再拿出来测。

行业积累下来的，也会是一份份可以接着研究、继续改进的记录。

至于评论区那位家人，作业我先交到这里啦～

下次想看我做什么动作，先问问编辑部那位最帅男同事愿不愿意演hh。

文章来自于"夕小瑶科技说"，作者 "夕小瑶编辑部"。