ICLR 2026｜滑铁卢大学联合可灵提出UniVideo：统一视频理解、生成、编辑多模态
ICLR 2026｜滑铁卢大学联合可灵提出UniVideo：统一视频理解、生成、编辑多模态统一多模态模型在多模态内容理解与生成方面已展现出良好效果，但目前仍主要局限于图像领域。
来自主题: AI技术研报
7098 点击 2026-03-06 09:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
统一多模态模型在多模态内容理解与生成方面已展现出良好效果，但目前仍主要局限于图像领域。
导读：近日，位于中关村的深度机智全球首次使用全新范式——人类学习，在多个国际 Benchmark 上取得 SOTA，史无前例地使用全新架构（仅使用人类第一视角数据、零真机数据）击败 Physical Intelligence 和英伟达等头部巨头二十多个百分点，并在两会开幕首日被央视报道。
现有的 LLM 自动化 CUDA 方法大多只能优化单个 Kernel，面对完整的端到端 GPU 程序（如整个 VisionTransformer 推理）往往束手无策。
人类在创作艺术时，大脑并非一味地输出，而是在每一笔落下时都在进行着复杂的、难以言表的 “视觉优化”。
前两天有个朋友问我最近在忙什么。
长期以来，计算机视觉领域陷入了一个 “表征（Representation）” 的执念。我们习惯设计各种精巧的 Encoder，试图将动态世界压缩成一组特征向量。然而，视频作为现实的高维投影，其熵值之高、动态之复杂，让这种试图 “定格” 的表征显得力不从心。
近日，NVIDIA 发布的世界 - 动作模型 DreamZero，在两项颇具代表性的机器人基准测试 RoboArena 、MolmoSpaces 上双双登顶。
一句话总结：社区里困扰了多年的一个 “玄学” 现象终于被拆解清楚了：在 BF16 等低精度训练里，FlashAttention 不是随机出 bug，而是会在特定条件下触发有方向的数值偏置，借助注意力中涌现的相似低秩更新方向被持续放大，最终把权重谱范数和激活推到失控，导致 loss 突然爆炸。论文还给出一个几乎不改模型、只在 safe softmax 里做的极小修改，实测能显著稳定训练。
2026 开年已两个月，Agent 依然是全球最引人注目的 AI 赛道之一。OpenClaw（原 Clawbot）掀起的那波 Agent 热潮至今仍在发酵，甚至让「一人公司」概念第一次真正有了落地的可能性。
全新的具身模型空间能力评估范式 Theory of Space 突破了传统静态图文问答的局限，系统性地考察基础模型能否像人一样，在部分可观测的动态环境中，通过自主探索来构建、修正和利用空间信念。该论文已被 ICLR 2026 接收。
在 Princeton 发布 SWE-Bench 之后，用真实世界代码仓库+可执行测试评测大模型软件工程能力，几乎已成为学术界与工业界的共识。围绕 SWE issue 的评测范式迅速发展，也催生了一系列 SWE 系列 benchmark，在刻画模型 bug 修复能力方面发挥了重要作用。
伴随多模态大模型的发展，GUI Agent正成为人机交互的新范式。
强化学习（RL）将推荐系统建模为序列决策过程，支持长期效益和非连续指标的优化，是推荐系统领域的主流建模范式之一。然而，传统 RL 推荐系统受困于状态建模难、动作空间大、奖励设计复杂、反馈稀疏延迟及模拟环境失真等瓶颈。
你见过 7B 模型在拼图推理上干翻 GPT-5 吗？
让AI自己写高性能GPU代码，字节Seed与清华AIR团队做到了。
Seedance 2.0 有多火爆，这几天国内外网友分享的实测视频，或许都能略窥一二。
没有图片，也能预训练多模态大模型?在多模态大模型（MLLM）的研发中，行业内长期遵循着一个昂贵的共识：没有图文对（Image-Text Pairs），就没有多模态能力。
来自中国人民大学与阿里巴巴通义实验室的研究团队提出了 IterResearch，一种全新的迭代式深度研究范式。通过马尔可夫式的工作空间重构，IterResearch 让 Agent 在仅 40K 上下文长度下完成了 2048 次工具交互且性能不衰减，在 BrowseComp 上从 3.5% 一路攀升至 42.5%。
强化学习已经成为大模型后训练阶段的核心方法之一，但一个长期存在的难题始终没有真正解决：现实环境中的反馈往往稀疏且延迟，模型很难从简单的奖励信号中推断出应该如何调整行为。
为了松绑参数与计算量，MoE 曾被寄予厚望 。它靠着稀疏激活的专家子网络，在一定程度上实现了模型容量与计算量的解耦 。然而，近期的研究表明，这并非没有代价的免费午餐 ：稀疏模型通常具有更低的样本效率 ；随着稀疏度增大，路由负载均衡变得更加困难 ，且巨大的显存开销和通信压力导致其推理吞吐量往往远低于同等激活参数量的 dense 模型 。
MMLab@NTU联合中山大学的最新研究，给出了一份从入门到精通的终极“菜谱”——VLANeXt。这项研究没有简单提出一个新模型了事，而是系统性地从12个关键维度，深度剖析了VLA的设计空间。从基础组件到感知要素，再到动作建模的额外视角，每一步都有扎实的实验支撑。
香港科技大学 PEI-Lab 与字节跳动 Seed 团队近期提出的 WMPO（World Model-based Policy Optimization），正是这样一种让具身智能在 “想象中训练” 的新范式。该方法无需在真实机器人上进行大规模强化学习交互，却能显著提升策略性能，甚至涌现出 自我纠错（Self-correction） 行为。
AI 行业，似乎已经提前进入了以个人 Agent 为代表的「后 ChatGPT 时代」。这印证了独立 AI 基准测试机构「Artificial Analysis」的预测结论：2026，Agent 正在全面爆发。近期，他们发布了对 AI 领域发展的全面总结：《2025 年终 AI 发展报告》。
近日， Anthropic 和斯坦福研究者 Neil Rathi 与这位传奇研究者联合发布了一篇新论文，并得到了一些相当惊人的新发现。在这项研究中，他们挑战了当前大模型安全领域的一个核心假设。长期以来，业界普遍认为要在模型发布后通过 RLHF 或微调来限制其危险行为。但 Neil Rathi 和 Alec Radford 提出了一种更本质的解法：
中国人民大学团队在论文DLLM-Searcher中，第一次让扩散大语言模型（dLLM）学会了这种“一心二用”的本事。目前主流的搜索Agent，不管是Search-R1还是R1Searcher，用的都是ReAct框架。这个框架的执行流程是严格串行的：
我们开源的 Open Cowork，正是一次面向 “桌面端虚拟同事” 的实践：一键安装、无需写代码，让模型在安全沙箱里操作你的工作空间，既能产出 PPT/Word/Excel/PDF 等专业成果，也能通过 GUI 直接操作电脑完成更复杂更通用的跨应用流程。
现有Rectified Flow（RF）模型在反演阶段面临的核心挑战，是逆向ODE对微小误差高度敏感，容易沿着数值不稳定方向偏离前向流形，导致轨迹发散、重建不一致、编辑不可控。为解决这一问题，团队提出PMI（Prox-Mean-Inversion），一种针对RF反演稳定性的轻量化修正机制。
本篇文章被 ICRA 2026 接收并获得 IROS 2025 双料 Workshop 最佳论文，第一作者张子哲(site: zizhe.io)是宾夕法尼亚大学机器人学硕士生，同时在 GRASP 实验室担任科研助理，导师为 Nadia Figueroa 教授，研究兴趣涵盖机器学习，安全控制以及人机交互。
Meta联合多所高校发布首个可规模化自动生成第一视角音视频理解数据的引擎EgoAVU ，让多模态大模型首次真正「听懂世界」。
香港科技大学 & 北航 & 商汤等提出了一个专门面向视频生成扩散模型的 QAT 范式 ——QVGen，在 3-bit / 4-bit 都能把质量拉回来，并且让 4-bit 首次接近全精度表现成为现实。该论文现已被 ICLR 高分接收：rebuttal 前 88666（top 1.4%），rebuttal 后 88886 （top 0.5%）。