不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。
是时候用CPU通用服务器跑千亿参数大模型了！
最近一段时间开源大模型市场非常热闹，先是苹果开源了70亿参数小模型DCLM，然后是重量级的Meta的Llama 3.1 和Mistral Large 2相继开源，在多项基准测试中Llama 3.1超过了闭源SOTA模型。 不过开源派和闭源派之间的争论并没有停下来的迹象。
AI大神李沐老师时隔1年多，终于回归B站“填坑”经典论文精读系列了！
Meta、UC伯克利、NYU共同提出元奖励语言模型，给「超级对齐」指条明路：让AI自己当裁判，自我改进对齐，效果秒杀自我奖励模型。
今年的图形学顶级会议 SIGGRAPH 2024 上，老黄把扎克伯格请来了。
大型语言模型（LLM）展现出了令人印象深刻的智能水平。因此，确保其安全性显得至关重要。已有研究提出了各种策略，以使 LLM 与人类伦理道德对齐。然而，当前的先进模型例如 GPT-4 和 LLaMA3-70b-Instruct 仍然容易受到越狱攻击，并被用于恶意用途。
LLaMA3-405B的模型效果已经赶上目前最好的闭源模型GPT-4o和Claude-3.5，这可能是未来大模型开源与闭源的拐点，这里就LLaMA3的模型结构、训练过程与未来影响等方面说说我的看法。
适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。
在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。
