Llama 3.1刚发布不久，Llama 4已完全投入训练中。 这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
来自主题: AI技术研报
6714 点击 2024-08-05 15:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Llama 3.1刚发布不久，Llama 4已完全投入训练中。 这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
如今一场席卷人工智能圈的“石油危机”已经出现，几乎每一家AI厂商都在竭力寻求新的语料来源，但再多的数据似乎也填不满AI大模型的胃口。更何况越来越多的内容平台意识到了手中数据的价值，纷纷开始敝帚自珍。为此，“合成数据”也成为了整个AI行业探索的新方向。
单卡搞定Llama 3.1（405B），最新大模型压缩工具来了！
不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。
是时候用CPU通用服务器跑千亿参数大模型了！
最近一段时间开源大模型市场非常热闹，先是苹果开源了70亿参数小模型DCLM，然后是重量级的Meta的Llama 3.1 和Mistral Large 2相继开源，在多项基准测试中Llama 3.1超过了闭源SOTA模型。 不过开源派和闭源派之间的争论并没有停下来的迹象。
AI大神李沐老师时隔1年多，终于回归B站“填坑”经典论文精读系列了！
Meta、UC伯克利、NYU共同提出元奖励语言模型，给「超级对齐」指条明路：让AI自己当裁判，自我改进对齐，效果秒杀自我奖励模型。
今年的图形学顶级会议 SIGGRAPH 2024 上，老黄把扎克伯格请来了。
适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。