仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%
仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%一段几十秒的音视频，上万Token，一半以上是冗余——Omni-LLM的计算浪费，比想象中更严重。
来自主题: AI技术研报
7949 点击 2026-03-11 15:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
一段几十秒的音视频，上万Token，一半以上是冗余——Omni-LLM的计算浪费，比想象中更严重。
近期，大连理工与快手可灵团队推出了 MultiShotMaster—— 一个高度可控的多镜头视频生成框架，该论文向研究社区展示了即使在 1B 左右的小参数量级模型上，也可以实现导演级的镜头调度和连贯叙事，且支持多图参考、主体运动控制。
《晚点 LatePost》独家获悉，快手旗下视频生成大模型可灵 AI 的月活跃用户（MAU）在今年 1 月突破 1200 万。
你是否曾被AI视频生成的不连贯性所困扰？
不仅能“听懂”物体的颜色纹理，还能“理解”深度图、人体姿态、运动轨迹……
ChatGPT发布三周年，OpenAI没发布，各大AI玩家倒纷纷整出大活。
今天，来自快手可灵团队和香港城市大学的研究者们，正在尝试打破这一界限。他们提出了一个全新的任务范式——「视频作为答案」，并发布了相应模型VANS。而这项工作则开创性地提出了Video-Next Event Prediction任务，要求模型直接生成一段动态视频作为回答。
目前，GRPO 在图像和视频生成的流模型中取得了显著提升（如 FlowGRPO 和 DanceGRPO），已被证明在后训练阶段能够有效提升视觉生成式流模型的人类偏好对齐、文本渲染与指令遵循能力。
前脚谢赛宁刚宣告VAE在图像生成领域退役，后脚清华与快手可灵团队也带着无VAE潜在扩散模型SVG来了。
作为视频创作者，你是否曾梦想复刻《盗梦空间》里颠覆物理的旋转镜头，或是重现《泰坦尼克号》船头经典的追踪运镜？