人类数据如何变成机器人真实能力?Ropedia重磅发布六项研究成果
人类数据如何变成机器人真实能力?Ropedia重磅发布六项研究成果第一视角视频越来越多,研究人员怎样把这些记录变成能够改善机器人能力的训练信息?
搜索
第一视角视频越来越多,研究人员怎样把这些记录变成能够改善机器人能力的训练信息?
具身智能不缺钱,也不缺演示,真正稀缺的是一条能复现的 Scaling 曲线。去年 11月,北美的 Generalist 发布 GEN-0,称首次在机器人身上观察到了这条曲线:预训练数据和算力越多,模型在下游任务上的表现就越稳定、可预测地提升。支撑这条曲线的,是超过 27 万小时的真实世界操作数据,和每周新增上万小时的采集速度。对绝大多数公司来说,曲线已经有人跑出来了,燃料却还没有。
把模型部署到昇腾 NPU 上,计算逻辑确定之后,还有一道难题:怎样让底层实现充分利用硬件?同一个注意力计算,分块、搬运、并行和同步方式不同,运行时间就可能明显不同。
本周「十字路口」的嘉宾是李磊,小米 MiMo 大模型后训练研究员、香港大学在读博士。一边参与大模型训练,一边读 PhD,他和许多同学一样,面对着 AI 带来的巨大机会,也置身于飞速变化的节奏中:既兴奋,也焦虑。
基于预训练的 Cosmos-Predict2.5-2B,SkeLAM 使用总计约 10 小时的机器人交互数据进行训练。在人手到机器人的迁移实验中,输入换成人类演示,生成视频中的机械臂仍然呈现出与演示对应的运动方向。迁移时模型参数全部冻结,没有针对这些演示额外微调。
LLM智能体如何在部署过程中,通过自身执行持续进化?
语义搜索能够帮用户找到最相关的内容,但有时候,相关性高,并不代表结果就应该被优先展示。
机器人动手前,能不能先看一看不同选择会带来什么后果?ParallelWorld 将多步预演引入具身智能体的高层规划,将任务成功率从 56% 提升至 83%。
训练大模型,能不能不用反向传播?
多轮对话、多智能体交互过程,大模型生存性威胁会被放大。