Real2Sim2Real走向人形机器人：仿真训练还缺哪两块拼图？

• 论文链接：https://arxiv.org/abs/2610.35075
• 项目主页：https://young-bit.github.io/zero-hlm/
• 代码地址：https://github.com/BIGAI-General-Vision-Lab/Zero-HLM

去年，人形机器人还在凭跳舞、奔跑吸引目光。如今，人们开始期待它们走进工厂和家庭，承担具体工作。这要求机器人不仅会运动，还能边走边操作，让双手、双腿与身体协同完成任务。

然而，训练具备泛化能力的全身移动操作模型，往往需要大量真机示范。起点、物体位置或任务配置发生变化，还可能需要追加采集，带来持续的人力与设备投入。

教人形机器人干活，是否一定需要采集如此多的真机示范？能否让它在仿真中积累经验，再到现实中完成任务？

Real2Sim2Real 为此提供了一条路径：将真实场景重建为仿真环境，在其中生成示范、训练策略，再将技能迁移回真实机器人。但要让这条路径支撑人形机器人的全身操作，仍需跨过两道门槛。

第一道门槛，是把真实场景变成可用的训练环境。除了外观，还要对齐尺寸与位置、配置碰撞与关节。人形机器人会走动、下蹲，因此场景还必须支持变化的视角与接触关系，增加了建模和调试的难度。

第二道门槛，是在环境中高效生成可执行的全身示范。人形全身控制需要兼顾平衡、接触与动作跟踪，导致规划出的动作未必能准确执行，而站位或手部轨迹的一点偏差，就可能让抓取落空，使数据生成效率十分低下。

问题由此变得具体：如何从真实场景构建可靠的物理交互环境，并生成可执行的全身操作示范，让人形机器人仅靠仿真任务训练，就能在现实中完成任务、适应变化？

近期，北京通用人工智能研究院联合北京理工大学、清华大学、德塔智能推出 Zero-HLM。从手机采集的场景出发，系统以高斯重建为参照，引导 GPT-Astra 对齐场景几何、配置碰撞与关节，构建兼顾真实外观与物理交互的训练环境。

在构建的仿真环境中，Zero-HLM 以源示范为起点生成全身任务动作，再根据全身控制器的执行反馈，协同调整动作与场景，由此修正实际的执行偏差，将少量源示范扩展为不同配置下经过执行验证的成功轨迹。

这套方法成功将 45 条仿真源示范扩展为 4,800 条可执行数据。 仅用仿真数据进行任务训练，策略即可零样本迁移至宇树 G1 并完成三类长程全身操作任务。在五种泛化设置下，汇总成功率达到 69%，高于真机示范训练基线的 23%。

团队还开源了 Zero-HLM-Bench，包含三个长程任务、九个技能阶段，为不同策略提供统一的评测接口。

Zero-HLM 从仿真到真实世界表现概览。

01 / 在仿真中教机器人干活，面临哪些挑战？

教机器人抓起桌上的物体，已经不容易。让它先走到桌边、蹲下捡东西、站起来搬运，甚至用脚与物体交互，问题又复杂了一层。

首先，机器人看到的世界一直在变。走动、下蹲都会改变头部相机的位置与视角。训练场景既要从不同角度看起来接近现实，也要支持抓取、放置和关门等物理交互。

其次，规划出来的动作，不一定能执行成功。全身控制器要兼顾动作跟踪、身体平衡和接触约束。走到目标附近时，一点位置或朝向偏差，就可能让后续抓取落空。

因此，仿真训练需要同时解决两个问题：场景既要看起来真实，也要能发生可靠的物理交互；生成的动作还必须经过执行成功验证。

图 1｜Zero-HLM 整体框架：场景重建、示范生成、执行验证与真机部署。来源：论文 Figure 2。

02 / 手机拍下的场景，怎样变成训练环境？

Zero-HLM 先用手机采集的多视角画面进行高斯重建，为真实房间建立一个能从不同视角观看的数字版本。

但「看起来像」只是第一步。机器人要在里面干活，还需要可碰撞的几何结构，以及柜门等物体的运动关节与物理属性。

接着，GPT-Astra 以重建结果为参照，迭代调整家具与物体的形状、位置，再配置碰撞、关节等物理信息。视觉场景与物理场景由此对齐。机器人看到的桌子，必须与它真正接触到的桌面重合。

从手机采集到可交互仿真场景：以高斯重建为视觉参照，逐步构建并校验物理场景。

03 / 动作执行偏了，数据生成也要跟着调整

场景搭好后，研究团队先在仿真中遥操作机器人，每个任务收集 15 条成功示范，三个任务共 45 条。以源示范为起点，Zero-HLM 会根据新的起点、物体与目标位置，调整交互动作，重新规划移动过程，由此生成新的示范数据。

重要的是，生成的动作还要交给与部署时一致的全身控制器，在仿真中实际执行。是否保持平衡、有没有不合理的碰撞、任务是否完成，都要检查。

如果执行出现偏差，Zero-HLM 会利用执行反馈，协同调整仿真中的场景配置与参考动作。

例如，机器人站定的位置偏了，就调整相关物体的位置，恢复需要的相对关系；手腕高度不合适，就补偿参考动作。

这些调整发生在数据生成阶段，之后仍需重新执行、验证。只有执行成功的轨迹，才会进入训练集。

从源示范到新轨迹：动作合成、物理执行验证，以及基于执行反馈的场景与动作调整。

最后，系统根据实际执行轨迹，生成第一视角画面，并与动作配对。背景用高斯渲染，机器人与交互物体结合仿真渲染，让图像同时反映真实外观和执行中的变化。

由此，45 条源示范扩展成了 4,800 条成功示范。整个扩展与验证过程自动进行，无需额外人工干预，也无需为新配置重新采集示范。

04 / 只用仿真任务数据训练，上真机表现如何？

研究团队用生成的数据训练预训练模型 GR00T N1.7，再通过 SONIC 全身控制器部署到 G1。模型根据第一视角图像、机器人状态和任务指令预测动作，控制器负责将其转化为身体运动。

真机实验包含三类任务：走到桌前，将香蕉放进篮子；蹲下拾起帽子，将其移动到柜子上；双手搬运果篮、用脚关门，再将果篮放到凳子上。

图 2｜三类真机任务及其基础、扩展配置。来源：论文 Figure 9。

评测分为基础配置与扩展配置。前者对应真实示范的采集范围；后者改变机器人起点、抓取与放置位置，以及物体—目标组合，考察策略能否适应这些变化。这些配置变化通过仿真数据扩展纳入训练，并在真实机器人上验证模型的适应能力。

4,800 条数据包括：基础配置 2,400 条（三个任务各 800 条），Task A/B 任务的扩展配置共 1,600 条，以及 Task A 下物体—目标组合变化的 800 条。

除真实数据基线外，团队还设置了 GPT-6 Astra 数据生成基线：让大模型生成、调试仿真数据采集程序，再用得到的示范训练相同的策略模型。

图 3｜真实 G1 上的任务成功率。

Real/Sim/Astra 每任务分别使用 100/800/100 条示范；Astra 仅有任务 A、B 数据。

右图按官网四类设置汇总，Tabletop 合并抓取与放置位置测试。来源：论文 Tables 8–9。

基础配置下，同为每任务 100 条示范，仿真数据与真实数据训练的平均成功率分别为 43.3% 和 46.7%，表现接近。

当仿真示范增至每任务 800 条，平均成功率达到 66.7%，比 100 条真实示范的基线高出 20 个百分点。三项任务分别达到 60%、75% 和 65%。这体现了扩展仿真数据的收益，比较双方的数据量并不相同。

Astra 数据训练的模型在香蕉与帽子任务上，成功率分别为 20% 和 0%；搬筐任务未生成可用成功示范。这表明，当前大模型在生成可稳定执行的人形机器人全身操作示范时，仍面临挑战，尤其需要结合物理执行反馈与任务成功验证。

扩展配置下，五项设置共进行 100 次真机测试。真实数据基线成功 23 次，扩展仿真数据训练的模型成功 69 次。汇总成功率从 23% 提升至 69%。

改变起点后，香蕉与帽子任务的成功率分别达到 71.4% 和 70%；改变抓取、放置位置后，分别达到 67.5% 和 50%。物体—目标组合变化的 5 次测试全部成功，真实数据基线成功 1 次。各项与基线的对比见上图。

仿真扩展的价值在于：快速地把新的配置先纳入训练，帮助模型适应真实示范没有覆盖的变化，减少补采真机示范。

不同训练数据下的模型泛化能力：真机对比。

Zero-HLM 在真实环境中的连续泛化表现。

05 / 从一次演示，走向可重复的训练与评测

团队还提出 Zero-HLM-Bench，将三个长流程任务拆成九个技能阶段。基于统一接口，可比较 π₀.₅、GR00T N1.7 和 DiT4DiT 等不同策略。

评测不仅看整件事有没有做成，也看机器人卡在哪一步。结合不同起点与物体位置，研究者可以定位移动、抓取、搬运或放置环节的问题，再针对性地扩展数据、改进模型。

图 4｜不同起点与物体位置下的技能阶段评测。来源：论文 Figure 12。

统一环境、数据接口与评测协议，也让模型比较和数据规模研究更容易复现。

在统一评测协议下，GR00T N1.7 的平均完整任务成功率达到 69.7%，DiT4DiT 和 π₀.₅ 分别为 64.0% 和 59.0%。其中，DiT4DiT 在帽子搬运任务上达到 80%，表现最佳。

图 5｜不同模型在 Zero-HLM-Bench 中的完整任务成功率（仿真评测）。每个模型、每项任务测试 100 次，Mean 为三个任务的算术平均。数据来源：论文 Table 13。

06 / 未来研究

Zero-HLM 展示了一条利用 Real2Sim2Real 开发可泛化人形机器人全身操作技能的路径：从真实场景出发，在仿真中生成示范、训练策略，再迁移到真实机器人，无需采集真机任务示范数据。

但仿真与现实之间的差异仍未消失。诊断实验显示，仿真动作监督具有迁移价值，视觉域差异仍是重要瓶颈。混合真实与仿真数据，也没有自然带来最佳表现。如何对齐两类数据的视觉分布、协调训练过程，仍值得进一步探索。

目前，验证集中在三类任务及其配置变化。面向家庭与工厂，还要检验更多物体、更长流程，以及环境变化和外部扰动下的可靠性。

文章来自于微信公众号 “机器之心”，作者 “机器之心”