这个访谈,回答了语言和多模态路线之争

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
这个访谈,回答了语言和多模态路线之争
6038点击    2026-11-20 10:22

大家都在迷雾中寻找下一代 AI 的方向。


这个访谈,回答了语言和多模态路线之争


对于下一代 AI 应该往哪里发展,几家头部的 AI 公司似乎有了不同的判断。


Anthropic 此前公开解释过,为什么 Claude 没有像竞争对手一样投入图片和视频生成。原因是公司希望将更多资源用于 AI 算力分配、安全研究和 AI Agent 研究,重点提升 Claude 在 Coding 和复杂工作任务上的能力。


这个访谈,回答了语言和多模态路线之争

Anthropic 官网主视觉图


11 月 13 日,OpenAI 又调整了机器人团队,将相关研究人员并入核心研究部门。虽然 OpenAI 随后澄清,机器人研发仍在继续,但这次调整也反映出,它正在探索让通用模型直接承担更多机器人任务。


另一边,Google DeepMind 一直在推进多模态和物理世界理解。


大家都想让 AI 变得更智能,但对下一步应该把资源投在哪里,判断却并不完全一样,甚至可以说大相径庭。


国内的 AI 公司也在探索不同的技术路线。大家都在思考如何将语言、视觉、视频等能力结合起来,以及多模态能否成为下一阶段 AI 智能提升的关键。


最近,商汤科技联合创始人、首席科学家林达华在一次对外分享中,也详细谈到了他对语言、多模态,以及下一阶段智能发展的判断。


这个访谈,回答了语言和多模态路线之争


🚥 大家都在迷雾中寻找下一代 AI 的方向,商汤林达华站在「语言与多模态的十字路口」给出了自己的判断。


我们整理了林达华发言中最值得关注的 6 个判断,分享给大家。


这六个观点,既解释了商汤为什么选择这条路线,也回应了当下 AI 行业的一些核心争议。


这个访谈,回答了语言和多模态路线之争


【1】关于语言和多模态的路线之争,林达华这么说


LLM 领域里「多模态容易拉低 AI 智商」这个判断在行业里流传很广,林达华没有全盘否定。


这一点是整场「语言与多模态之争」的起点。


这个访谈,回答了语言和多模态路线之争


林达华认为,语言模型之所以进展更快,主要是因为已经积累了多年的工程经验。数据怎么配比、模型怎么训练、效果怎么评估,都有比较成熟的方法可以参考。


相比之下,原生多模态还有很多问题需要解决。


要让一个模型同时理解和生成文字、图像、视频、音频等不同模态,训练起来更难,成本也更高。


但林达华认为,多模态的上限很高,目前还有很大的发展空间。


他以 GPT-6 对具身智能行业的影响为例,认为具身智能只是多模态的一个应用方向,未来还有很多可能性。这也是他看好多模态长期发展的原因。


这个访谈,回答了语言和多模态路线之争

GPT-6 Astra 控制机器人手绘金门大桥


但眼下还有一个关键问题:


怎样把不同模态放进同一个模型,同时不影响模型原有的智能水平?


林达华认为,多模态本身不会让模型变笨,只是目前还没有找到足够好的训练方法,需要更多时间和投入。


这也解释了为什么现阶段的多模态模型,在一些任务上仍然不如纯语言模型。


【2】语言的智能密度高,写满 2000 字也画不回同一张脸


林达华对于「为什么不能只做语言」的立场在两派之间,他不赞成纯视觉智能,也不认为语言已经足够。所以商汤做多模态,出发点是弥补语言表达不了的信息,用视觉取代语言不在他的考虑里。


这是商汤多模态路线最核心的理由。


这个访谈,回答了语言和多模态路线之争


林达华还提到了学术界另一种观点:


一些年轻学者认为,人类在拥有语言之前,就已经能够通过视觉观察环境、打猎和生存。这说明智能未必需要依赖语言,因此他们主张发展纯视觉智能。


林达华对此有不同的看法。


他认为语言是信息密度最高的模态。 


人类在发展语言的过程中,逐渐把大量知识和经验整理成可以表达、传递和积累的信息。今天的语言模型能够快速发展,也与这些积累有关。


但语言同样有自己的局限。


林达华举了一个很有意思的例子:


给一个人拍照,让最好的多模态模型写 2000 字描述他的相貌,再用生图模型画出来,得到的是另一个人。


原因很简单:一个人的五官、神态和面部特征,有大量细节很难用文字准确描述。即使写上 2000 字,也很难让另一个模型还原出同一张脸。


生活中也是如此,想认识一个人,看一眼照片,往往就比读几千字的外貌描述更直接。


这说明语言虽然能高效传递知识,但很多视觉信息很难完整地转成文字。


基于这一判断,商汤提出了「频谱」的概念,尝试解释不同模态在信息表达上的差异。


这个访谈,回答了语言和多模态路线之争

《The Prism Hypothesis》Arxiv 论文:图像和文本被分解到统一的频谱上。(林达华为作者之一,商汤研究院与南洋理工大学合作)


语言更擅长表达经过整理和压缩的知识,图像则保留了大量难以用语言描述的细节,两者各有优势。


再比如,写程序、做逻辑推理,语言通常更高效;理解空间结构、识别人物、判断视觉细节,图像则更直接。


林达华认为,真正完整的智能,需要同时利用语言和视觉的优势,让模型既能理解抽象知识,也能感知那些难以用语言表达的信息。


【3】一张六根手指的照片,模型数出了五根


过去的多模态模型,大多先把图像翻译成语义,再交给语言去推理。六根手指被答成五根,说明模型在用语言里的常识「猜」图像,没有看清图像本身。


这个访谈,回答了语言和多模态路线之争


林达华团队先测试了 GPT、Gemini 等模型做不好的任务,再进一步判断,这些问题能不能靠增加数据来解决。如果加数据就能解决,更多体现的是应用价值,很难支撑原理上的创新。


他们还在 perspective-taking(从不同视角观察同一个物体) 的测试中,发现了一个「反 Scaling Law」现象 ——也就是加入更多相关数据后,模型反而更容易出错,因为它越来越依赖语义来理解画面。


比如,人从不同角度看同一个物体,会自然理解它的外观变化;离得越远,看到的物体就越小。


但当时的多模态模型,包括表现最好的 Gemini,对尺度和视角都缺乏理解,更多是记住了图像和文字之间的对应关系。


另一个例子更直观一点:


给 GPT、Gemini、Grok 看一张有六根手指的照片,它们却都回答五根。因为模型先识别出「手掌」,再根据学到的「手掌有五根手指」来回答,而没有准确识别图片中的实际数量。


林达华也提到,最新的模型可能已经解决了这个问题。但这个现象暴露出一个更深层的问题 —— 模型过度依赖把视觉信息转成语义,再根据语义进行推理。


因此,给 LLM 加上视觉输入,并不意味着模型真正理解了视觉世界。


这个访谈,回答了语言和多模态路线之争

SenseNova-SI 论文,此前的开源 SOTA 模型在不给图像时仍得 50.7 分,与有图时几乎相同,说明它依赖语言先验,没有真正做视觉推理


这也是商汤将空间智能作为重要预研方向的原因。


【4】视频画质再好,也不等于模型更智能


多模态往往被等同于「能生成图片和视频」,但林达华认为,多模态对智能的价值在于参与思考,生成只影响画面质量。


这个访谈,回答了语言和多模态路线之争


行业里有一种观点认为,多模态生成本身并不能提升模型的智能水平。


不过林达华判断模型单纯提升生成能力,更多改善的是画面质量(Visual Quality)。但如果把空间感知能力加入模型的思考过程,就可能改变模型的推理方式。


这未必能让模型更擅长解数学题,却能让它具备更完整的智能。


因此,商汤对多模态的探索,重点是将理解和生成统一起来,让空间感知也参与模型的推理过程。


这个访谈,回答了语言和多模态路线之争

商汤 NEO-unify 架构图:原生视觉语言模型直接处理像素和文字


这也是林达华看好多模态的原因。


他认为,过去三年,AI 在不同领域的发展并不均衡。语言模型在数学、编程等任务上已经超过顶尖人类,但机器人甚至还无法独立完成访谈现场的拍摄设备设置。


从数字世界进入真实的物理空间,AI 还有很多能力需要补齐。


当然,语言以外的模态究竟能给智能带来什么,它们与语言各自负责什么,目前还没有明确答案。


林达华也坦言,这正是他的团队目前最关心、也在持续研究的问题。


【5】美国出一个新东西,国内「拼手速」两三个月出来十家


AI 行业主流路径由美国几家公司定义,重心在 LLM。


跟着主流做优化见效快,但大家都在做同一件事,会失去长期价值。林达华借这一点解释,商汤为什么没有把全部资源投在主流路径上,选择了多模态这条非主流的路线。


这个访谈,回答了语言和多模态路线之争


林达华认为,开源加快了技术传播。一旦知道某条技术路线可行,中国团队通常很快就能找到具体的实现方法。


比如 DeepSeek-R1 使用的 RLVR(基于可验证结果的强化学习),以及外界猜测 GPT-6 采用的 Recurrent Transformer,都有团队在快速跟进。


这个访谈,回答了语言和多模态路线之争

DeepSeek-R1-Zero 在强化学习训练中 AIME 准确率持续上升


因为很多技术的底层原理是相通的,业内对大致方案也有猜测。只要确定了方向,剩下的就是通过实验补齐细节,省去了逐一尝试大量方案的过程。


林达华把这种做法称为「拼手速」。


不过,他对此也有另一个角度的看法。


美国发布一项新技术,国内两三个月内就可能出现一批采用类似方案的产品,大家都想尽快抢占生态位。


如果只有一家公司这么做,或许能建立优势。但现实中,往往有十家公司同时在做类似的事。


当大家都在做同一件事,就很难形成长期的竞争优势。


在林达华看来,公司的长期竞争力来自「持续的复利」。真正困难的是当自己选择的方向没有那么热门,也不属于主流路线时,能不能坚持做下去。


只有在一个方向上持续投入,积累足够深的技术和经验,才能让后来者难以追赶。当然,他也认同,沿着主流路线做优化和微创新,同样有很大的产业和技术价值。


但如果中国想在 AI 领域做出更长期的贡献,就需要有自己的技术判断,做出一些真正不一样的东西。


「笃定多模态」这个判断,就来自于这个逻辑。


【6】每 5 份资源里,有 1 份不对应任何产品


坚持多模态需要资源和组织支撑,商汤选择持续把 20% 的资源投入预研,空间智能就来自这部分投入。


这个访谈,回答了语言和多模态路线之争


林达华特别提到,商汤至今仍将 20% 的资源投入到没有直接产品出口的预研和前瞻研究中。


无论经营压力有多大,商汤都会保留一部分资源,投入那些从第一性原理出发、认为值得长期研究的方向,比如空间智能、理解与生成统一。


这些研究短期内不会直接带来收入,也没有明确的产品计划。前面提到的空间智能「反 Scaling Law」现象,就是在这类研究中发现的。


林达华也承认,商汤的资源规模与 OpenAI 相差一个数量级。


这个访谈,回答了语言和多模态路线之争

OpenAI GPT-6 Astra 发布页主视觉


但在他看来,GPT-6 的进展证明了这条技术路线的价值,商汤过去一两年的研究积累,也有机会让团队做出不同于其他公司的成果。


除了技术研究,商汤在团队组织上也提前做了调整。


近期有报道称,腾讯、阿里等公司开始合并语言和多模态团队。而商汤早在 2024 年中就完成了类似调整。


当时,商汤就开始让同一个模型同时处理语言和多模态任务。


后来推进理解与生成统一的研究时,几十名来自不同部门的研究人员可以直接一起工作,无需再调整组织结构。


🚥


从提前调整团队,到持续投入前沿研究,背后其实是商汤对多模态发展方向的长期判断。


但这个方向最终能走多远,目前还没有人知道,大家都在迷雾里找路。


为什么说是迷雾?


因为直到今天,AI 行业仍然没有弄清楚,通往更高水平智能的下一步,究竟应该怎么走、往哪里走、哪段路要走的快点、哪段路要走的谨慎点。


语言模型还在快速进步,Coding、数学和推理能力不断突破。但当 AI 开始接触真实的物理世界,视觉、空间感知和多模态又变得越来越重要。


这些能力到底应该怎样结合?多模态究竟能给智能带来多大的提升?目前没有人能给出确定的答案。


上面的六个判断,也并不是要证明商汤已经找到了正确答案。


承认语言模型的优势,也不否认多模态面临的技术难题。商汤坚定选择多模态通用智能的路线,是因为他们相信,语言之外还有大量值得研究的问题,而这些问题可能决定下一阶段智能的发展。


六个判断,未必指向唯一正确的方向。


但对于仍在寻找下一步的中国 AI 行业来说,除了沿着别人已经走通的路继续前进,也需要有人愿意探索那些还没有答案的问题。


这个访谈,回答了语言和多模态路线之争


文章来自于"十字路口Crossing",作者 "GaKi"。

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md