
失联大神李沐B站复更:领读Llama 3.1论文,还多讲了一点AI八卦;大模型竞技场Llama 3.1排名第三
失联大神李沐B站复更:领读Llama 3.1论文,还多讲了一点AI八卦;大模型竞技场Llama 3.1排名第三AI大神李沐老师时隔1年多,终于回归B站“填坑”经典论文精读系列了!
AI大神李沐老师时隔1年多,终于回归B站“填坑”经典论文精读系列了!
Meta、UC伯克利、NYU共同提出元奖励语言模型,给「超级对齐」指条明路:让AI自己当裁判,自我改进对齐,效果秒杀自我奖励模型。
今年的图形学顶级会议 SIGGRAPH 2024 上,老黄把扎克伯格请来了。
LLaMA3-405B的模型效果已经赶上目前最好的闭源模型GPT-4o和Claude-3.5,这可能是未来大模型开源与闭源的拐点,这里就LLaMA3的模型结构、训练过程与未来影响等方面说说我的看法。
适逢Llama 3.1模型刚刚发布,英伟达就发表了一篇技术博客,手把手教你如何好好利用这个强大的开源模型,为领域模型或RAG系统的微调生成合成数据。
在Meta的Llama 3.1训练过程中,其运行的1.6万个GPU训练集群每3小时就会出现一次故障,意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。
每3个小时1次、平均1天8次,Llama 3.1 405B预训练老出故障,H100是罪魁祸首?
不是大模型用不起,而是小模型更有性价比。
Meta 发布 Llama 3.1 405B,开放权重大模型的性能表现首次与业内顶级封闭大模型比肩,AI 行业似乎正走向一个关键的分叉点。扎克伯格亲自撰文,坚定表明「开源 AI 即未来」,再次将开源与封闭的争论推向舞台中央。
最近,Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。他在节目中揭秘了Llama 3.1的一些研发思路,并透露了后续Llama 4的更新方向。