# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
今天的AI已经很会“输出”了。
但这些能力背后，仍然有一个更底层的问题：模型到底是在学会某一种输出，还是已经理解了世界状态本身如何变化？
智源研究院悟界·RoboBrain Orca Team发布的技术报告Orca: The World is in Your Mind，想探索的正是这个问题。
项目主页：https://orca-wm.github.io技术报告：https://arxiv.org/abs/2606.30534
悟界·RoboBrain Orca发布后，迅速获得了海外研究社区的关注。
多位研究者将其讨论重点，放在了“真正的多模态表征世界模型”上：
Orca并不是把文本、图像、视频、动作简单拼接在一起，而是尝试在统一的世界潜空间中，学习它们背后的共同状态与演化规律。
也有评论认为，Orca更接近早期通用世界模型的形态，即先学习世界如何变化，再将这种世界表征读出到理解、预测和行动任务中。
与此同时，Orca也登上了Daily Papers月度榜单，并在Hugging Face、X等社区获得持续关注。
可以看到，世界模型正在成为下一阶段AI研究中被持续关注的重要方向。
悟界·RoboBrain Orca并非一个更会聊天的大模型，也不是一个单纯追求视觉真实感的视频生成模型，更不是一个只面向机器人的动作策略模型。
它想走的是一条更基础的路线：
先让模型学习统一的世界状态表征，再从这个表征中读出理解、预测和行动能力。
换句话说，Orca关注的是：当前世界处于什么状态，以及这个状态在自然演化、事件条件或外部干预下，会如何转移到另一个状态。
这就是Orca Team所探索的Next-State Prediction。
“我们不会让一个3岁小孩进工厂，打10万小时螺丝。”这是Orca Team解释这项工作时，用过的一个比喻。
这句话不只是在说机器人，也是在说今天很多AI模型的共同处境：语言模型被训练去预测下一个词，视频模型被训练去生成下一帧，具身模型被训练去模仿下一步动作。
它们看起来任务不同，但底层逻辑很像——一上来就把模型放进某个具体工位，让它围绕某一种输出反复练习。
这条路当然有效，但问题是，一个还没有理解世界的模型，真的能只靠“打螺丝”，走向通用吗？
Orca团队的判断是：顺序可能要反过来。别急着让模型学“下一步怎么动”，先让它上一堂关于世界的“义务教育”课。
先利用多模态世界信号学习好世界表征；再做好一切任务
这也是Orca的核心哲学：The World is in Your Mind.
人在不会讲话之前，就能通过看学习到客观的世界，例如风吹叶落；在成长中，人类还可以通过一句话、一本说明书感知并理解具体事件。
Orca将它们抽象为两类互补的学习方式：无意识学习和有意识学习。
第一类是无意识学习。
模型从连续视频中学习自然、稠密的状态变化，不依赖显式语言标注。
比如一个物体如何移动，手与物体如何接触，场景如何随时间演化。这类学习对应真实世界中大量连续观察，帮助模型捕捉自然动态。
第二类是有意识学习。
模型引入语言和事件，让状态转移不只来自连续观察，也可以被语义条件约束。
语言可以描述一个事件、一个任务意图，或一个要达到的目标状态。模型需要在当前观察和语言条件之间建立联系，学习稀疏但更有意义的状态变化。
两类学习共同服务于同一个目标：构造一个能够表达世界状态、并支持状态转移建模的world latent。
Orca Team构建了自动化筛选、标注管线，从海量的互联网数据中处理后，得到了12.5万小时视频、1.6亿条事件标注和1150万条VQA的数据库存。
这些数据共同构成了Orca学习状态转移的基础。
这些数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源。
换句话说，Orca并不是只在机器人轨迹、图像编辑任务或单一问答数据上训练，而是从更丰富的真实世界信号中学习统一的世界潜空间。
智源团队基于自研的FlagScale框架进行了系统级重构：
在H100集群上，这些优化将训练吞吐量从StarVLA基线的0.66提升至2.91 Samples/Sec/GPU，实现了4.4倍的显著加速。
世界表征听起来很诱人。但真正重要的问题是：它能不能被验证？
Orca的实验设计，围绕两个问题展开：
为了回答这两个问题，团队没有把Orca backbone和下游任务一起端到端训练到最强。
相反，他们在下游阶段冻结Orca backbone，只训练轻量的readout模块，这样做很关键。
如果整个系统一起训练，最后效果变好了，很难判断到底是Orca的world latent有用，还是后面的decoder或policy自己重新学会了任务。
但如果backbone保持冻结，只换不同的轻量读出接口，仍然能读出语言、图像和动作能力，就更能说明：真正提供信息的是Orca学到的世界表征。
因此，Orca设计了三类readout：
这三类能力分别对应：理解、预测、行动，也就是一个世界模型最应该具备的三件事。
实验中，一个重要观察是：随着预训练数据规模增加，Orca的训练损失持续下降，没有很快饱和。
更关键的是，从不同训练阶段取出的checkpoint也显示出：随着预训练推进，文本、图像和动作readout的表现同步提升。
这说明Orca探索了一条具有扩展潜力的世界学习路线。
值得注意的是，所有对比结果均来自于一套预训练主干ckpt，并且没有使用一条刷榜数据。
在文本生成和视觉问答任务中，Orca与多类视觉语言模型和世界模型进行了对比。
结果显示，在4B规模下，Orca在多项综合评测中取得了更高的平均表现。
但更值得注意的是，它的提升并不是平均分的简单堆高，而是集中体现在状态转移、事件演化、动态运动理解等维度上。
这很符合Orca的出发点：让模型理解画面中的事物接下来会如何发展、事件之间如何推进、当前状态和未来状态之间有什么关系。
对于一个世界模型来说，这比普通视觉问答更关键。
因为真实世界不是静态图片的集合，而是一个持续变化的系统。
这和传统图像生成不是一回事。
很多图像模型擅长生成视觉上精美、符合先验的画面。
但真实交互预测要求模型尊重当前场景、物体关系、动作条件和物理约束：
在真实交互场景中，Orca的图像读出更强调“未来状态是否合理”。
它能更好地保持机器人形态、物体布局、场景一致性和指令约束，生成更符合真实交互过程的下一状态。
所以，Orca展示图像读出，并不是为了证明自己会“画图”，而是为了把图像作为一种可视化验证：模型是否真的知道，当前世界在某个条件下应该变成什么样。
悟界·RoboBrain Orca最值得关注的实验之一，来自真实机器人动作读出。
在预训练阶段，Orca没有使用带action label的机器人轨迹。
也就是说，它没有提前学习某个机械臂应该如何移动，也没有在大规模动作数据上模仿机器人策略。
但在下游动作任务中，团队冻结Orca backbone，只接入一个从零训练的DiT-style Action Expert。每个任务只使用200条域内轨迹进行后训练。
二元成功率、白盒过程打分和黑盒模型打分结果显示，在物体泛化和场景泛化的OOD任务中，Orca仍然能带来明显增益。
这件事的重要性在于：Orca并不是通过预训练直接记住机器人动作，而是先学到的是世界状态变化。
尤其是在失败恢复上，这一点更明显。
为了进一步分析Orca的能力来源，团队还做了消融实验。
分别移除无意识状态转移、有意识事件转移和VQA语言监督，观察文本、图像和动作读出的变化。
结果显示，三类目标各自承担了不同作用。
悟界·RoboBrain Orca并不想把自己包装成“世界模型已经完成”。
相反，Orca团队在技术报告中充分讨论了当前限制。
Orca的价值，不在于宣称自己已经完成了世界模型，它更像是在给当前纷乱的World Model讨论，提出一个新的坐标系：
世界模型不应只被某一种输出模态定义。
它更应该学习世界如何被表征、如何变化，以及这种表征如何支持理解、预测与行动。
未来，这条路线也不只服务机器人。物理系统、生命过程、宏观宇宙、微观量子、科学实验，本质上都可能包含状态、干预和转移。
不同领域当然需要不同数据和建模方式，但“学习世界状态如何变化”这个问题本身，具有更基础的意义。
AI的下一步，也许不是更快地输出答案、生成画面或执行动作，而是先在内部建立一个足够稳定、可预测、可迁移的世界。
The World is in Your Mind.
文章来自于微信公众号 “量子位”，作者 “量子位”
