Meta的开源大模型Llama 3在市场上遇冷,进一步加剧了大模型开源与闭源之争的关注热度。
来自主题: AI资讯
8805 点击 2024-08-27 14:08
Meta的开源大模型Llama 3在市场上遇冷,进一步加剧了大模型开源与闭源之争的关注热度。
Llama3.1系列模型的开源,真让大模型格局大震,指标上堪比最好的闭源模型比如GPT 4o和Claude3.5,让开源追赶闭源成为现实。
把Llama 3.1 405B和Claude 3超大杯Opus双双送进小黑屋,你猜怎么着——
不同类型的数据配比如何配置:先通过小规模实验确定最优配比,然后将其应用到大模型的训练中。 Token配比结论:通用知识50%;数学与逻辑25%;代码17%;多语言8%。
每3个小时1次、平均1天8次,Llama 3.1 405B预训练老出故障,H100是罪魁祸首?
芯片巨头英伟达,在AI时代一直被类比为在淘金热中“卖铲子”的背后赢家。
继分不清9.11和9.9哪个大以后,大模型又“集体失智”了!