Llama3.1训练平均3小时故障一次，H100万卡集群好脆弱，气温波动都会影响吞吐量
Llama3.1训练平均3小时故障一次，H100万卡集群好脆弱，气温波动都会影响吞吐量每3个小时1次、平均1天8次，Llama 3.1 405B预训练老出故障，H100是罪魁祸首？
来自主题: AI资讯
9441 点击 2024-07-29 19:52
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
每3个小时1次、平均1天8次，Llama 3.1 405B预训练老出故障，H100是罪魁祸首？
世界最强AI集群，马斯克建成了！ 这一爆炸消息，由老马在推特上亲自官宣。
10万块液冷H100正式开工，马斯克19天建成世界最强AI训练集群。
整个市场不再追求大而全，都在走小而精的路线了。
马斯克官宣xAI建造的世界最大超算集群，由10万块H100搭建，预计本月末开始投入训练。另一边，OpenAI再次加码，将打造由10万块GB200组成的超算，完全碾压xAI。
740 TFLOPS！迄今最强 FlashAttention 来了。
时隔一年，FlashAttention又推出了第三代更新，专门针对H100 GPU的新特性进行优化，在之前的基础上又实现了1.5～2倍的速度提升。
大模型训练推理神作，又更新了！
马斯克连回两条推文为xAI造势，宣布8月发布Grok 2，年底将推出在10万张H100上训练的Grok 3，芯片加持创新数据训练，打造对标GPT的新一代大语言模型。
10万张H100卡构成的超级AI算力集群就像是现代人类文明的奇观，是人类通向AGI的钥匙。AI时代的军备竞赛已经拉开帷幕，赌注是天量的Capex支出，胜者则有机会成为AI时代的造物主。