在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。
来自主题: AI技术研报
8990 点击 2024-07-29 20:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。
19秒破解几何难题，谷歌AI夺得IMO银牌在业界掀起了巨震。就连菲尔兹奖得主陶哲轩，前IMO美国队负责人罗博深都对此大加赞赏。更有AI大佬高调预测，若谷歌继续加码研究，应该可以造出一个「AI陶哲轩」。
用扩散模型搞社交信息推荐，怎么解决数据噪声难题？现有的一些自监督学习方法效果还是有限。
前苹果设计师 Jason Yuan 打造的一款 AI 聊天应用——Dot，近期在App store 中上线。
自回归训练方式已经成为了大语言模型（LLMs）训练的标准模式， 今天介绍一篇来自阿联酋世界第一所人工智能大学MBZUAI的VILA实验室和CMU计算机系合作的论文，题为《FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation》
Meta 发布 Llama 3.1 405B，开放权重大模型的性能表现首次与业内顶级封闭大模型比肩，AI 行业似乎正走向一个关键的分叉点。扎克伯格亲自撰文，坚定表明「开源 AI 即未来」，再次将开源与封闭的争论推向舞台中央。
在QuantaMagazine的这篇播客中，主持人采访了华盛顿大学计算机教授Yejin Choi。两人谈到十分有趣的话题，比如AI是否必须获得具身和情感，才能发展出像人类一样的常识？
最近，Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。他在节目中揭秘了Llama 3.1的一些研发思路，并透露了后续Llama 4的更新方向。
最近两款大型 AI 模型相继发布。
随着大型语言模型（LLMs）的进步，多模态大型语言模型（MLLMs）迅速发展。它们使用预训练的视觉编码器处理图像，并将图像与文本信息一同作为 Token 嵌入输入至 LLMs，从而扩展了模型处理图像输入的对话能力。这种能力的提升为自动驾驶和医疗助手等多种潜在应用领域带来了可能性。