
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基于Llama 3.1)而引起广泛关注的Nous Research,再次宣布了一项重大突破——DisTrO(分布式互联网训练)。
来自主题: AI资讯
4310 点击 2024-09-10 11:01
如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基于Llama 3.1)而引起广泛关注的Nous Research,再次宣布了一项重大突破——DisTrO(分布式互联网训练)。