10 月 30 日凌晨,今年 4 月成立的破壳机器人(PokeBot),发布了第一款模型产品 RoboAPI ,他们的世界模型 Poke-Aurora 也首次亮相。不同于其他具身模型发布 Demo,破壳发布的 RoboAPI 是一个面向真实物理世界、可公开访问、开箱即用的具身 API,亮相的同时便向行业发出邀请:欢迎试用。

只要在适配的机械臂上接入 RoboAPI,开发者无须采集数据、训练模型,用一句 prompt 下达指令,机械臂就能在陌生环境中完成没有专门训练过的任务,验证破壳模型的「零样本泛化」。
目前,RoboAPI 为非商业化应用,不向盈利性第三方提供产品或服务。开发者可以通过 RoboAPI 的快速开始文档和开发者平台免费接入。
RoboAPI 的开发,首先是基于一个普遍的行业痛点 —— 机器人模型的 demo 视频总是很惊艳,可真要用起来,却是另一回事。一个高校实验室想用上开放的具身模型,要经历采数据、微调模型,再验证效果、补采数据,几轮折腾下来,很可能要花上一个月。
其中的难点有两层。一层是构型差异:机器人不像文字和图片那样有统一的格式,不同机器人的结构、传感器和控制方式千差万别,改动任何一处,模型就可能「水土不服」。另一层则是泛化本身:即便在同一台机器上,模型往往只在训练过的物体和场景里表现稳定,换做没见过的环境和物体,模型就可能失手。
类比语言模型的发展历程,GPT-3 API 曾让开发者不必自己训练和部署语言模型,就能用上前沿的基础模型,RoboAPI 想在物理世界做同样的事。具体来说,RoboAPI 接收机器人的观测与状态,结合用户指令,近乎实时地预测并输出机器人接下来的动作。
支撑 RoboAPI 的,是破壳的首个世界 - 动作模型 Poke-Aurora,它具有零样本泛化能力。世界 - 动作模型通过预测未来画面,学习物体运动与交互的规律,为操作经验跨物体、跨场景迁移打下基础。不过,世界建模的能力并不会自动变成可靠的动作能力,如何让视频与动作的学习相互促进,仍是关键挑战。
为此,破壳在 Poke-Aurora 中提出「调制残差耦合」(Modulated Residual Coupling,MRC)机制。在保留视频与动作各自原有计算路径的基础上,让两者建立起可学习的交互。破壳观察到,MRC 让视频预测与动作预测的学习方向更加一致,模型对物体如何运动、如何交互的理解,因此能更好地服务于动作生成。

在破壳今早发布的文章中显示,他们自建了一套规模化评测体系,覆盖近 1000 个常见物体、近 1 万条不同指令,任务分为物品转移与整理、姿态与形状对齐、环境交互与工具使用三类常见动作。
在这套评测中,Poke-Aurora 在三类任务上的成功率分别为 86.0%、54.1% 和 87.7%,均高于参与对比的 GPT6 Astra 和两款开源具身模型;两款开源具身模型在三类任务上的成功率都不到 35%。更多技术细节,预计在 Poke-Aurora 的技术报告中公布。


为了让这套流程在不同机器人上跑起来,破壳在实现 RoboAPI 时对「构型」进行了优化。受 UMI 启发,破壳定义了「腕部鱼眼相机 + 末端位姿控制」的构型:在机械臂手腕上装一个消费级鱼眼运动相机,观测和控制都以夹爪所在的末端为中心,大幅降低了搭建这套配置的门槛和成本。
真实世界远比评测复杂。在破壳看来,这恰恰是 RoboAPI 最大的意义:一个前沿具身模型的泛化能力,不应只由它的创造者自己决定,而应随时接受任何外部用户的真实检验。
这也回应了具身行业长期存在的一种错位。在具身行业,有人提供机器人和模型,有人负责使用它们。前者长期以演示视频示人,可视频里的表现与模型的实际能力常常对不上,使用者只能自己花大量工夫去调教。RoboAPI 希望把模型的能力直接交到使用者手里,让它在不同的硬件、任务和环境中接受检验。
到目前为止,RoboAPI 已在美国、新加坡等多个高校实验室进行了内测,反馈很好,伴随着正式推出,也将迎来更多开发者来测试。

自主,4倍速
对开发者来说,RoboAPI 把机器人底层的控制封装了起来,就像今天很少有人关心电机内部的控制算法。「机器人大脑」变成了可以直接调用的能力,开发者不必重复研发,可以专注于真实任务和应用。随着越来越多人用智能体把各种工具串成工作流,未来,软件工程师也可以借助 RoboAPI 控制机器人、搭建自己的工作流。
把模型做成 API,正在成为具身智能公司的新趋势。10 月中旬,一家美国机器人模型公司推出 API 测试版,开发者上传自己的数据,在其托管的算力上微调模型后调用;几天后,另一家美国初创公司发布的 API 主打零样本,面向带夹爪的双臂机器人。不同公司的路线各有取舍,方向却几乎一致:让用户亲手检验模型,而不只是观看演示。与此同时,通用大模型也开始尝试直接控制机械臂,但在本月发布的 AA-Robotics 评测中,它们的速度比人类慢约 100 倍。
对于致力于打造家庭机器人场景的破壳机器人来说,RoboAPI 也是未来走进家庭前的重要一步。破壳机器人创始人许华哲认为,「真正的泛化能力,需要在不同的机器人构型、任务和环境中,经受更加广泛的验证。机器人只有在足够多的真实环境中经受过检验,未来才可能真正走进家庭,面对更多样的环境。」
官网链接:https://pokebot.com/ai
文章来自于"机器之心",作者 "机器之心"。
【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。
项目地址:https://github.com/browser-use/browser-use
【开源免费】字节工作流产品扣子两大核心业务:Coze Studio(扣子开发平台)和 Coze Loop(扣子罗盘)全面开源,而且采用的是 Apache 2.0 许可证,支持商用!
项目地址:https://github.com/coze-dev/coze-studio
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0