语言建模领域的最新进展在于在极大规模的网络文本语料库上预训练高参数化的神经网络。在实践中，使用这样的模型进行训练和推断可能会成本高昂，这促使人们使用较小的替代模型。然而，已经观察到较小的模型可能会出现饱和现象，表现为在训练的某个高级阶段性能下降并趋于稳定。
当前最火的大模型，竟然三分之二都存在过拟合问题？
对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。
是的，就是在一场《街头霸王》游戏现场PK中，发生了这样的名场面。
从Llama 3到Phi-3，蹭着开源热乎劲儿，苹果也来搞事情了。
这段时间，AI模型界是真的热闹，新的模型不断涌现，不管是开源还是闭源，都在刷新成绩。就在前几天，Meta就上演了一出“重夺开源铁王座”的好戏。发布了Llama 3 8B和70B两个版本，在多项指标上都超越了此前开源的Grok-1和DBRX，成为了新的开源大模型王者。
它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文
Mistral 可以说是欧洲目前最有代表性的 AI 公司，开源小模型、MoE、专注欧洲多语言市场等等，都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。
早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
前段时间，种子轮融资3000万美元的日本公司Sakana AI，因为众多亮眼标签，受到很多关注——谷歌科学家、硅谷原班人马、总部扎根东京、小模型……
