关键词: Llama3,AI,豆包大模型,模型训练

伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提高训练效率的关键。

关键词: Llama 4,GPU,meta AI,模型训练

Llama 3.1刚发布不久，Llama 4已完全投入训练中。 这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。

关键词: 模型训练,AI,Llama 3,数据集,合成数据

如今一场席卷人工智能圈的“石油危机”已经出现，几乎每一家AI厂商都在竭力寻求新的语料来源，但再多的数据似乎也填不满AI大模型的胃口。更何况越来越多的内容平台意识到了手中数据的价值，纷纷开始敝帚自珍。为此，“合成数据”也成为了整个AI行业探索的新方向。

关键词: 模型部署,AI,Llama 3.1 405B,AI工具,模型训练

单卡搞定Llama 3.1（405B），最新大模型压缩工具来了！

关键词: LLM,开源模型,Llama3.1,AI,模型教程,模型部署

不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。

关键词: GPU,AI,Llama 3.1,算力,AI硬件,超算集群

是时候用CPU通用服务器跑千亿参数大模型了！

关键词: 大模型,AI,Llama 3.1,SOTA,人工智能

最近一段时间开源大模型市场非常热闹，先是苹果开源了70亿参数小模型DCLM，然后是重量级的Meta的Llama 3.1 和Mistral Large 2相继开源，在多项基准测试中Llama 3.1超过了闭源SOTA模型。 不过开源派和闭源派之间的争论并没有停下来的迹象。

关键词: AI,AI人物,李沐,Llama 3.1,AI八卦

AI大神李沐老师时隔1年多，终于回归B站“填坑”经典论文精读系列了！

关键词: AI,Llama 7B,Meta,LLM,RLHF,DPO,模型训练

Meta、UC伯克利、NYU共同提出元奖励语言模型，给「超级对齐」指条明路：让AI自己当裁判，自我改进对齐，效果秒杀自我奖励模型。

关键词: GPT-5,Llama 4,AI,大模型,Meta

今年的图形学顶级会议 SIGGRAPH 2024 上，老黄把扎克伯格请来了。