轻量级模型的春天要来了吗?
来自主题: AI资讯
6582 点击 2024-08-22 09:29
轻量级模型的春天要来了吗?
Build大会召开两周之后,微软更新了Phi-3系列模型的技术报告。不仅加入最新的基准测试结果,而且对小模型、高性能的实现机制做出了适当的揭示。
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察,也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中,他盘点分析了 4 月份发布的四个主要新模型:Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。
过去几年,借助Scaling Laws的魔力,预训练的数据集不断增大,使得大模型的参数量也可以越做越大,从五年前的数十亿参数已经成长到今天的万亿级,在各个自然语言处理任务上的性能也越来越好。
当前最火的大模型,竟然三分之二都存在过拟合问题?
从Llama 3到Phi-3,蹭着开源热乎劲儿,苹果也来搞事情了。
Llama-3 刚发布没多久,竞争对手就来了,而且是可以在手机上运行的小体量模型。
Llama 3发布刚几天,微软就出手截胡了?