三个Agent顶个GPT-4，基于开源小模型的那种｜中大阿里联合出品
三个Agent顶个GPT-4，基于开源小模型的那种｜中大阿里联合出品来自主题: AI技术研报
1694 点击 2024-02-08 17:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在 AI 赛道中，与动辄上千亿参数的模型相比，最近，小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型，其在每个基准测试中，都优于 Llama 2 13B，并且在代码、数学和推理方面也优于 LLaMA 1 34B。
2B性能小钢炮来了！刚刚，面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM，2B就能赶超Mistral-7B，还能越级比肩Llama2-13B。成本更是低到炸裂，170万tokens成本仅为1元！
AI大模型在业界备受关注，但对于一些公司来说，采用小模型可能是一种更好的选择。微软已经开始研发小规模、低算力需求的模型，并组建新团队进行对话式AI的开发。而对于工业、金融和汽车等领域而言，小模型更易于落地，并且具有省电、省钱、省时间的优势。
根据消息人士曝料，微软调集了各组中的精英，组建了一支新的AI团队，专攻小模型，希望能够摆脱对于OpenAI的依赖。
以大模型为代表的生成式AI技术经历了一年多的狂飙突进后，进入一个新的阶段。一是从跳出百模大战的「速度怪圈」，逐步迈向强调模型效果和质量。二是在应用层生态上，强调垂直化与专有化的小模型、基于大模型泛化能力的定制化、智能化的Agent（智能体）也成为了创业者们投身的热门风向。
对模型参数量的迷信、执念也许可以放下了，混合多个小模型也是未来构造对话型 AI 的一个光明的方向。
在本篇文章中，适道将综合Coatue、a16z、Radical Ventures等明星VC预言；The Information、FT、Sifted汇集的投资者预言；以及Greg Brockman等行业大佬的观点，试着归纳接下来一年中AI的发展脉络。
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。
一个来自MIT博士生的惊人发现：只需对Transformer的特定层进行一种非常简单的修剪，即可在缩小模型规模的同时显著提高模型性能。