ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
稚晖君后宇树也来玩开源了:机器人操作数据集,采用抱抱脸LeRobot训练测试,网友:泰裤辣!
8819点击    2024-11-13 16:38

继稚晖君之后,国内又一家头部机器人公司玩起了开源!


宇树科技,开源Unitree G1机器人操作数据集,包括数据采集、学习算法、数据集和模型,并表示将持续更新。



更令网友意外的是,宇树基于抱抱脸LeRobot开源框架训练并测试。



抱抱脸联合创始人兼CEO紧忙码住转发:


泰裤辣,LeRobot、huggingface和开源技术在机器人领域日益突出。



此套开源数据集目前包括拧瓶盖倒水:



叠三色积木等5种操作:



网友对于宇树这波开源纷纷竖起了大拇哥:


好哇好哇,希望更多公司能为机器人研究开源数据集。



具体都开源了啥?


具体来看,数据采集方面,目前使用苹果Vision Pro对G1进行遥操作控制的仓库,已超400star:



其中包含遥操作控制的代码教程:



以及硬件配置图、物料清单和安装说明:




训练方法如前所述,基于lerobot:



还有将前面遥操作采集的JSON格式数据转为lerobot所需格式的教程。


最后就是数据集和模型,目前模型还显示“尚未公开”,数据集使用配备有三指灵巧手的宇树G1人形机器人收集,每张图分辨率为640x480,每个手臂和灵巧手的状态和动作维度为7。


包含五大操作数据集:



除了开头所展示的拧瓶盖倒水、堆叠红、黄、绿三色木块,还有将摄像头放入相应包装盒、收集物品并存储、双臂抓取红色木块并将其放入一个黑色长方形容器中:



宇树G1 9.9万元起,已量产


最后再来简单介绍一下宇树G1,量子位此前也有持续关注。


今年5月份首次亮相,当时官方首先展示的就是它的手部以及操作能力。


也是采用3指力控灵巧手,通过力位混合控制,能拧瓶盖、砸核桃,还能做焊接。



在视觉传感器方面,搭载了Intel RealSense D435和LIVOX-MID360 3D激光雷达,能够实现360°的探测感知。



8月份,宇树更是宣布G1可大规模量产了。


基于端到端深度强化学习和仿真训练的技术路线,G1可快速升级迭代。


G1量产版性能更强,能单腿跳跃:



还能原地起跳360度转身:



而且发售价9.9万起,让一众同行坐不住。


如今伴随G1数据集开源,距离让机器人替我上班是不是又前进了一丢丢。


参考链接:

[1]https://x.com/unitreerobotics/status/1856273635461488867?s=46

[2]https://github.com/unitreerobotics/avp_teleoperate/blob/g1/README_zh-CN.md

[3]https://huggingface.co/unitreerobotics

[4]https://github.com/unitreerobotics/unitree_IL_lerobot


文章来自于“量子位”,作者“西风”。