ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
马斯克擎天柱大将跳槽,在抱抱脸开源一套机器人技术:会做家务的大白,复刻低至1800
8186点击    2024-06-09 17:17

马斯克部下跳槽,把人形机器人技术开源了。不少创业公司的估值,一夜被打了骨折。


最新成果已正式发布——


它能像大白(●—●)一样,听懂并正确执行人类发出的指令,比如放杯子、拿水果。



可以自己打开笔帽,在白板上写名字。



或者是叠衣服。



把钥匙准确插进锁眼。



这些操作,全都是机器人自己搞定。没有人远程操控,完全端到端实现。


最关键的是,它使用的算法、数据集完全开源


这意味着,你完全可以在家自己改造一个小机器人,让它完成同样的事。



如上进展,来自Hugging Face今年新成立的机器人项目Le Robot。


团队领军人物Remi Cadene(雷米·卡德内),1月才从特斯拉Optimus机器人团队离职,才过了几个月就带来如上新成果。


这立马引发业内关注,谷歌DeepMind科学家都来围观表示:


开源哆啦A梦才是出路嘛。



网友们更是amazing刷屏了。



所以,这个开源机器人,究竟如何而来?


训练只用2个小时


完成这些动作的,是花粉机器人公司最新的机器人Reachy2。


不过,Reachy2并不是一开始就实现自主操作的,而是先经历了一段遥控操作的过程。


该阶段中,开发人员会佩戴VR装备,控制机器人完成一系列任务。


VR遥控的过程被记录成了50段视频,每段约15秒,与Reachy2机器人内的不同传感器相关联。


这些视频成为了ML算法的学习素材,用于研究如何自行完成并指导Reachy2完成一系列任务。


训练一共持续了2个小时,之后作者测试了所有的checkpoint,发现机器人果然学习到了新的概念——


  • 在2万步时,它学会了将杯子可靠地放在碗碟架上;


  • 在4万步时,它学会了旋转底座并交出苹果;


  • 在6万步时,它学会了旋转手臂回到初始位置。



这其中的数据集和使用的模型,现在都已开源,就连VR操作时用的程序,也同样是开源的。


在抱抱脸上,Reachy训练用的50段视频都可以直接下载,开源框架和工具也放在了GitHub。


包括机器人ML框架LeRobot,采用了Apache-2.0协议,可免费商用,据作者称达到了SOTA水准,在GitHub上已经斩获了3.4k+星标。



LeRobot基于PyTorch实现,包括了预训练模型、人工采集的数据集,还有一套模拟环境,无需真实的机器人硬件也能观察效果。


值得一提的是,斯坦福知名开源机器人项目ALOHA中的数据,也被囊括进了其中。



此外,Reachy2机器人还用到了华人软件工程师、开源AI解决方案平台1ms.ai创始人Haixuan Xavier Tao开源的面向数据流的机器人应用DORA。


除了用DORA帮助HuggingFace完善机器人框架,1ms.ai还曾帮助清华大学完成了一套机器人工程的教程。


说回DORA,它提供了低延迟、可组合和分布式数据流功能,可以简化机器人程序的创建,目前已获1.2k星标。



DORA的目标是将硬件、算法和人工智能模型结合在一起,并使它们相互通信,让硬件和软件的集成变得容易。


DORA提供了Python、Rust、C/C++等多种语言版本,其中在Python上速度比ROS2快了17倍。



在Python上,DORA还具备热重载功能,意味着可以在运行过程中也可以随时修改Python代码。


未来,如果把检索增强生成(RAG)技术和热重载功能结合,还能创建出自编码机器人,根据提示自动生成代码。


作者表示,有了LeRobot和Dora,自己在家也能复刻出一个Reachy2的小号仿品。


把具身智能成本打下来


那么,这个机器人价格到底多少呢?这还是大家最关注的问题。



其实主要取决于硬件


作者雷米表示,目前能接入LeRobot最便宜的机械臂,只需250美元(折合人民币约1800元)。



目前展示的这款Reachy2,价格还没公布,参考它的上一代,起售价为9750美元(折合人民币约7万元)。


有网友表示,看来几年内把机器人助手价格打到5000美元以内有希望了(大约3.6万,不到一辆车的价格)。



这也是为啥Hugging Face入局具身智能会引发轰动的关键所在。


要知道,具身智能研发成本一直居高不下,这个火爆赛道如今已经吸金几十亿



而将所有算法数据集开源,意味着人形机器人的成本(起码在软件算法层面)大幅降低,会给业内其他布局机器人领域的玩家带来不小压力。


与此同时,Hugging Face还挖来了一流工程师。


领衔项目的Remi Cadene(雷米·卡德内)曾是特斯拉Autopoilot和Optimus机器人研究项目的成员。


入职时雷米还调侃了OpenAI,表示要做真正意义上的开源。



具体动作上,雷米的脚步走得也确实很快。上个月刚刚发布了Le Robot开源代码库,如今首个具身智能成果也来了。


不过能快速在人形机器人上部署训练,也少不了花粉机器人公司出力。


这是一家来自法国的机器人公司,他们也强调开源理念。在2013年发布了据称是第一个开源的3D打印机器人。


此前已经推出了开源全遥控机器人Reachy1。



雷米介绍,在Hugging Face团队正留意人形机器人硬件时,花粉机器人这边也在找端到端方案,所以两家一拍即合。


而且还有地理上的优势,他们的办公地点相隔只有2小时的路程


所以我们只是去拜访了他们几天而已。



从目前雷米透露的动向来看,他们还会开源一系列工作,比如语音命令控制等,大家可以期待一下。



By the way,Hugging Face最近正在招人哦,岗位是Post-Sales Machine Learning Solutions Engineer - Asia Remote,感兴趣的童鞋可以尝试下~



文章来源于“量子位”,作者“关注前沿科技


AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI