关键词: TinyLlama,LiteLlama,小模型

当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。

关键词: 大模型,小模型,Nano,Phi-2

无法控制成本的大模型终将被“快好省”的小模型取代今年最热的AI赛道中，机构们自然也得下一些判断，比如说——2024年大模型的一个趋势，是将变得“越来越小”。

关键词: GitHub Copilot,7B代码小模型,DeepSeek-Coder

软件开发人员对代码生成 AI 已经不陌生，它们已经成为提高生产力的利器。本文中，伊利诺伊大学香槟分校（UIUC）张令明老师团队带来了代码生成 AI 领域的又一力作 ——Magicoder，在短短一周之内狂揽 1200 多颗 GitHub Star，登上 GitHub Trending 日榜，并获推特大佬 AK（@_akhaliq）发推力荐。

关键词: 小模型训练,LLM训练,上下文训练

我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。