将深度信息作为VLM核心输入！视启未来×清华×IDEA帮机器人看懂物理世界
将深度信息作为VLM核心输入！视启未来×清华×IDEA帮机器人看懂物理世界机器人能认出杯子，却看不懂杯口朝哪、离自己多远、该抓哪里。
来自主题: AI技术研报
8341 点击 2026-03-30 15:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
机器人能认出杯子，却看不懂杯口朝哪、离自己多远、该抓哪里。
本文综合北京大学王选计算机研究所发布的 ProactiveVideoQA 和 MMDuet2 两篇论文，介绍视频多模态大模型如何实现 “主动交互”—— 在视频播放过程中自主决定何时发起回复，而非等待用户提问。ProactiveVideoQA 提出评估指标和 benchmark，MMDuet2 则通过强化学习训练方法实现了 SOTA 性能，无需精确的回复时间标注即可训练出及时、准确的主动交互模型。
在具身智能领域，机器人操作的泛化能力一直是一个核心挑战。当前，视觉 - 语言 - 动作（VLA）模型主要分为两大范式：端到端模型与分层模型。端到端 VLA 模型（如 RT-2 [1], OpenVLA [2]）严重依赖海量的 “指令 - 视觉 - 动作” 成对数据，获取成本极高，导致其在面对新任务或新场景时零样本泛化能力受限。
Karpathy给一支平均年龄25岁的「叛军」站台，红杉和GV连眼都不眨就拍出1.8亿美金。这群人放话：要么把效率干得比人脑高10倍，要么看着AI把地球烧干！
最近，harness engineering 又成了继 prompt engineering、context engineering 之后新一代的 buzzword。
新一代代码模型的训练动态已与旧模型截然不同，主流强化学习方法和数据集在其上几乎“失效”。
当世界模型越来越大，真正制约它走向「内部模拟器」的，未必是表征能力，而可能是动力学建模。
当你希望 AI 将 "士兵举起手臂，向后倾身，然后身体向前扑倒" 这段文字转化为一段 3D 角色动画，现有大多数方法给出的答案是：一段摇摇晃晃、语义残缺的短片段。这并非模型能力不足，问题的根源在于将运动表达为逐帧离散序列这一根本性的设计决策。
大家好，我是吴师兄。 之前有个学员面阿里的 NLP 岗，简历上写着"搭建了基于 RAG 的企业知识问答系统"。面试官翻着简历问： "你们知识库有多少文档？什么格式？" 他说："大概 5000 份，PD
近期，利用视频生成模型为机器人构建 “世界模型”，已成为具身智能领域的热门技术路线。给定当前观测和自然语言指令，这类模型能够先 “想象” 出未来的视觉轨迹，再由逆动力学模型（IDM）将生成画面解码为机器人动作，从而形成 “先预测、后执行” 的解耦式规划范式。由于兼具较强的可解释性与开放场景泛化潜力，这一路线正在受到学术界和工业界的广泛关注。