以大模型为代表的生成式AI技术经历了一年多的狂飙突进后，进入一个新的阶段。一是从跳出百模大战的「速度怪圈」，逐步迈向强调模型效果和质量。二是在应用层生态上，强调垂直化与专有化的小模型、基于大模型泛化能力的定制化、智能化的Agent（智能体）也成为了创业者们投身的热门风向。
对模型参数量的迷信、执念也许可以放下了，混合多个小模型也是未来构造对话型 AI 的一个光明的方向。
在本篇文章中，适道将综合Coatue、a16z、Radical Ventures等明星VC预言；The Information、FT、Sifted汇集的投资者预言；以及Greg Brockman等行业大佬的观点，试着归纳接下来一年中AI的发展脉络。
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。
一个来自MIT博士生的惊人发现：只需对Transformer的特定层进行一种非常简单的修剪，即可在缩小模型规模的同时显著提高模型性能。
无法控制成本的大模型终将被“快好省”的小模型取代今年最热的AI赛道中，机构们自然也得下一些判断，比如说——2024年大模型的一个趋势，是将变得“越来越小”。
软件开发人员对代码生成 AI 已经不陌生，它们已经成为提高生产力的利器。本文中，伊利诺伊大学香槟分校（UIUC）张令明老师团队带来了代码生成 AI 领域的又一力作 ——Magicoder，在短短一周之内狂揽 1200 多颗 GitHub Star，登上 GitHub Trending 日榜，并获推特大佬 AK（@_akhaliq）发推力荐。
小模型的风潮，最近愈来愈盛，Mistral和微软分别有所动作。而网友实测发现，Mistral-medium的代码能力竟然完胜了GPT-4，而所花成本还不到三分之一。
上个月，微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源，在常识推理、语言理解和逻辑推理方面的性能显著改进。
前几日，一条MoE的磁力链接引爆AI圈。刚刚出炉的基准测试中，8*7B的小模型直接碾压了Llama 2 70B！网友直呼这是初创公司版的超级英雄故事，要赶超GPT-4只是时间问题了。有趣的是，创始人姓氏的首字母恰好组成了「L.L.M.」。
