在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。
来自主题: AI技术研报
9130 点击 2024-07-29 20:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。
每3个小时1次、平均1天8次，Llama 3.1 405B预训练老出故障，H100是罪魁祸首？
不是大模型用不起，而是小模型更有性价比。
Meta 发布 Llama 3.1 405B，开放权重大模型的性能表现首次与业内顶级封闭大模型比肩，AI 行业似乎正走向一个关键的分叉点。扎克伯格亲自撰文，坚定表明「开源 AI 即未来」，再次将开源与封闭的争论推向舞台中央。
最近，Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。他在节目中揭秘了Llama 3.1的一些研发思路，并透露了后续Llama 4的更新方向。
最近两款大型 AI 模型相继发布。
芯片巨头英伟达，在AI时代一直被类比为在淘金热中“卖铲子”的背后赢家。
用来运行 Llama 3 405B 优势明显。
继分不清9.11和9.9哪个大以后，大模型又“集体失智”了！
紧跟着Meta的重磅发布，Mistral Large 2也带着权重一起上新了，而且参数量仅为Llama 3.1 405B的三分之一。不仅在编码、数学和多语言等专业领域可与SOTA模型直接竞争，还支持单节点部署。