将深度信息作为VLM核心输入！视启未来×清华×IDEA帮机器人看懂物理世界
将深度信息作为VLM核心输入！视启未来×清华×IDEA帮机器人看懂物理世界机器人能认出杯子，却看不懂杯口朝哪、离自己多远、该抓哪里。
来自主题: AI技术研报
9104 点击 2026-03-30 15:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
机器人能认出杯子，却看不懂杯口朝哪、离自己多远、该抓哪里。
当人们谈到“世界模型”（World Models）时，很多人会首先想到近年来迅速发展的生成式视频模型。
今天的大型视觉语言模型（VLM）做离线视频分析很强，但一到实时场景就尴尬： 视频在往前走，模型还在“补作业”。
随着高分辨率图像理解与长视频处理需求的爆发式增长，大型视觉语言模型（LVLMs）所需处理的视觉 Token 数量急剧膨胀，推理效率成为落地部署的核心瓶颈。Token 压缩是缩短序列、提升吞吐的直接手段，但现有方法普遍依赖注意力权重来判断 Token 重要性，这一路线暗藏两个致命缺陷：
当前，大语言模型（LLMs）和视觉语言模型（VLMs）在语义领域的成功未能直接迁移至物理机器人，归根结底在于其互联网原生的基因。
随着视觉-语言模型（VLM）推理能力不断增强，一个隐蔽的问题逐渐浮现： 很多错误不是推理没做好，而是“看错了”。
准备回家过年了吗？有没有感觉今年回家比去年还堵？据说今年春运流量再创新高，官方预计40天内人员流动量将达95亿人次，其中多数人仍然选择自驾出行，占比达到了8成，人次超过70亿。
近年来，Vision-Language Models（视觉—语言模型）在多模态理解任务中取得了显著进展，并逐渐成为通用人工智能的重要技术路线。
这一框架可用于集成额外文本、语音和视觉等多种模态。
随着大模型步入规模化应用深水区，日益高昂的推理成本与延迟已成为掣肘产业落地的核心瓶颈。在 “降本增效” 的行业共识下，从量化、剪枝到模型蒸馏，各类压缩技术竞相涌现，但往往难以兼顾性能损耗与通用性。