商汤科技全面开源日日新SenseNova-Vision视觉大模型

零样本读懂《我的世界》、看穿镜面反射，国产统一视觉模型跨代了！

智东西7月16日报道，近日，商汤科技发布并全面开源日日新SenseNova-Vision理解生成统一视觉大模型，试图宣告视觉AI“缝合怪”时代的终结。

截至当前，该模型综合得分登顶Hugging Face Any-to-Any Leaderboard，位列该全模态任意输入输出开源模型榜单全球第一。

▲SenseNova-Vision在Hugging Face上的排名

长期以来，目标检测、图像分割、深度预测乃至3D重建，往往需要各自独立的专家模型来完成任务，系统复杂且割裂。这种“模型拼盘”的架构在面对复杂、充满干扰的现实场景时，往往力不从心，容易“抓瞎”。

SenseNova-Vision 的出现正是为了打破这一僵局。它试图让大模型从诞生之初就具备“看”与“理解空间”的能力，甚至能用自然语言来定义自己需要执行的任务。

根据同步发布的技术报告，SenseNova-Vision以单一模型覆盖了结构化视觉理解、稠密几何预测、图像分割和多视角3D几何四大核心任务，在与备受关注的国际领先模型（如Vision Banana）的可比指标上取得了显著领先，任务覆盖范围也更加完整。

▲SenseNova-Vision在四大核心视觉任务的各项细分指标上，都有很强竞争力

值得一提的是，商汤此次同步开放了模型、代码以及包含5000万条样本的开源视觉语料库。一个延续了数十年的产业范式正在被改写：视觉AI，会不会也迎来属于自己的“GPT时刻”？

告别“缝合怪”：

让大模型原生学会“看物理世界”

要理解这一突破，首先需要明白：视觉AI为什么长期摆脱不了“缝合怪”的命运？

原因在于不同视觉任务的输出形式天差地别。检测要输出边界框坐标，分割要输出像素级掩膜，深度估计要输出稠密深度图，3D重建要输出点云和相机位姿。以往的技术路线只能针对每种输出设计专门的算法头、损失函数和解码规则，导致视觉领域的研究天然分裂成一个个互不连通的“孤岛”。

SenseNova-Vision的“大一统”路线，实现了两个层面的根本性变革。

首先是任务本质的统一。它把众多经典视觉任务——检测、分割、深度、3D重建等，统一表述为多模态生成问题，不再为每个任务设计专属的模型架构。这意味着，模型不再是一个个执行特定指令的机械的“工具箱”，而是将视觉空间理解能力作为其原生本能，内化于大模型体系之中。

▲SenseNova-Vision架构

其次是能力上的双向增益。这形成了一种“数据”与“思维”的双螺旋结构：

一是数据反哺大模型：视觉领域几十年积累的海量高质量工业级数据，可以直接用来“喂养”大模型。检测数据教会大模型定位，分割数据教会大模型区分边界，深度数据教会大模型感知远近，在统一的生成框架下被大模型完全吸收。

二是推理赋能视觉任务：大语言模型强大的泛化推理能力反向输出，让视觉任务“长出了脑子”。模型不再局限于执行预设任务，开发者甚至可以用一句自然语言，自主定义一个在训练中从未被明确列出的新视觉任务。

并且通过和研究者的交流，这项工作的哲学意义也浮出水面：

计算机视觉曾经处于深度学习研究的中心，在当今涌向AGI的时代洪流中又该处在什么位置？SenseNova-Vision展示的是将计算机视觉融入AGI主线的可行性。

视觉AI不再是一个个孤岛，而是正式并轨，成为通往通用人工智能（AGI）的主线任务之一。

硬刚全球最强：

四大任务，一个模型通吃

SenseNova-Vision 展现出的泛化能力，已经超越了传统“工具”的范畴，带有了“世界理解模型”的雏形。在多个极端或复杂场景下，它对传统模型形成了代际优势。

评测数据表明，SenseNova-Vision在四大核心视觉任务上，以单模型之力比肩甚至超越了各领域的专用“专家模型”。与国际领先的同类模型Vision Banana相比，后者的技能点主要集中在两类任务上，而 SenseNova-Vision 则实现了全任务覆盖，在多项可比指标上均取得领先。

▲在与Youtu-VL和Vision Banana的横向对比中，SenseNova-Vision在各项核心指标上表现突出

相较于冷冰冰的数据，模型在以下四个物理世界极端场景下的泛化表现，更能直观展现其代际优势。

1、零样本“秒懂”我的世界

面对训练集里从未出现过的画面——比如游戏“我的世界”画面，SenseNova-Vision无需任何微调，就能较快地同步完成表面法向预测、实例分割和目标检测。影视、游戏创作者可以直接将其投入工作流，无需为每个新场景重新训练。

▲零样本场景下，模型对复杂游戏画面的多任务同步解析

2、不再“密恐”：超稠密物体“剥离式”分割

在颜色极度相近、边缘深度交织的密集场景中，传统模型往往难以区分个体。而SenseNova-Vision能像外科手术般精准地将每个独立个体剥离出来，为工业计数、智慧仓储等场景提供了高精度的“上帝视角”。

▲对规整堆叠的钢管实现了准确分割，目标轮廓完整、边界清晰，相邻钢管之间区分明确；可视化结果布局规整，预测颜色具有足够的辨识度。

▲相较于规整堆叠的钢管，该场景中的钢筋姿态各异、排列复杂，模型仍能准确识别并完整分割各个目标，同时有效区分扎带、稻草等干扰物，避免误分。

3、免疫“视错觉”：不被欺骗的3D脑补

在借位摄影等视觉错觉图像中，传统模型往往会给出错误的判断。而SenseNova-Vision不仅能准确抠出被遮挡物体的完整轮廓，还能输出完全正确的表面法向估计。它不被图案和借位欺骗，这正是语言模型推理能力与稠密几何预测完美融合的具象体现。

▲面对极具迷惑性的借位与 3D 视觉错觉图案，模型仍能准确还原场景的远近关系与空间层次，并正确解析真实物理表面的朝向和结构，不受视觉错觉干扰。

4、识破“镜花水月”：看穿反射迷局

在包含镜子、玻璃的复杂室内环境中，传统视觉模型极易被镜中倒影欺骗，分不清虚实。SenseNova-Vision能够自动过滤反射干扰，准确估计镜中物体的真实空间方向与深度关系，展现了对三维空间几何本质的深刻理解。

▲面对镜面反射，模型能准确估计真实的方向和深度

视觉AI走向基础设施

产业逻辑正在重构

技术突破之外，更值得关注的是产业逻辑的变化。

长期以来，视觉AI的落地一直遵循“一场景、一模型、一开发”的重资产、项目制模式。比如，智慧工厂需要检测缺陷就部署检测模型，需要计数产品就部署分割模型，需要识别空间位置就部署深度模型。这种模式不仅边际成本高，也限制了视觉AI在中小场景中的渗透。

SenseNova-Vision指向的是一种平台化能力复用的新范式。开发者不再需要为检测、分割、深度、3D重建分别建设和维护多套模型体系，单个模型即可覆盖绝大多数高频视觉需求。这种“大一统”大大缩短了研发周期、降低了部署成本，尤其适合复杂图像、开放场景下的视觉应用开发。

商汤的产业积累为这次发布提供了独特的底气。官方资料显示，商汤已连续十年蝉联中国视觉AI市场份额第一，并在2025年首次登顶视频分析赛道全球市场份额第一及亚太地区市场份额第一。十余年间，商汤在工业质检、自动驾驶、智慧零售等数十个细分领域中积累的场景理解和数据，为模型训练提供了重要燃料。

此次开源更是一个关键信号。模型、代码、训练配方和5000万条高质量语料样本全部开放，意味着全球开发者可以基于这套框架验证结果、复现实验、继续研发。商汤还提供了完整的转换规则和脚本，社区可以利用公开数据集重现完整的训练流程。这种开放程度在视觉模型领域极为罕见。

结语：剑指物理世界

视觉AI的“大航海时代”开启

曾经有人将AGI分为三个层级：

-第一层是文字或符号级别的AGI，以大语言模型和Agent为代表；

-第二层是Computer Use级别的AGI，计算机世界已成为这个时代的“语言”，视觉是不可或缺的能力；

-第三层是能够在真实世界中观察、思考、交互的最终AGI——“以哈勃望远镜和冷冻电镜为眼，以星舰为载具，以计算中心为大脑，帮人类通向更广袤的未知。”

那么SenseNova-Vision瞄准的，就是向第二层和第三层跨越的关键：让AI真正“看懂”并“理解”物理世界。

它的意义不仅在于“一个模型顶多个用”，更在于把经典计算机视觉数十年的全部积累，以统一多模态生成的方式接入通用基础模型，使视觉感知成为大模型的原生组成部分。

这条路能走多远，取决于接下来社区如何接力、场景如何验证、规模如何扩展。但方向已经清晰：视觉AI的“大航海时代”，或许就从告别“缝合怪”的这一刻真正开启。

Hugging Face体验地址：

https://huggingface.co/collections/sensenova/sensenova-vision

GitHub代码仓库:

https://github.com/OpenSenseNova/SenseNova-Vision

魔搭社区:

https://modelscope.cn/models/SenseNova/SenseNova-Vision-7B-MoT

技术报告：

https://arxiv.org/abs/2607.06560

文章来自于微信公众号 “智东西”，作者 “智东西”