小模型卷起来了：Mistral联合英伟达开源12B小模型，128k上下文
小模型卷起来了：Mistral联合英伟达开源12B小模型，128k上下文小模型，正在成为 AI 巨头的新战场。
来自主题: AI资讯
4351 点击 2024-07-19 16:13
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
小模型，正在成为 AI 巨头的新战场。
今天，OpenAI忽然官宣推出全新小模型「GPT-4o Mini」，相当于旗舰模型GPT-4o的轻量经济版来供开发者使用。
GPT-4o mini深夜忽然上线，OpenAI终于开卷小模型！每百万输入token已达15美分的超低价，跟GPT-3相比，两年内模型成本已降低99%。Sam Altman惊呼：通往智能的成本，已变得如此低廉！另外，清华同济校友为关键负责人。
让大小模型相互博弈，就能实现生成内容可读性的提升！
最近，7B小模型又成为了AI巨头们竞相追赶的潮流。继谷歌的Gemma2 7B后，Mistral今天又发布了两个7B模型，分别是针对STEM学科的Mathstral，以及使用Mamaba架构的代码模型Codestral Mamba。
WWDC 2024上，苹果推出了Apple Intelligence，向大家展示了如何开发、训练出功能强大、快速且节能的模型，如何根据特定用户需求进行微调，以及如何评估模型的性能。
近日，一篇出自中国团队之手的AI论文在外网引发热议。论文中，研究团队提出了Q*模型算法，帮助Llama-2-7b等小模型达到参数量比其大数十倍、甚至上百倍模型的推理能力，使模型性能迎来惊人提升。
等待下一个C端爆款 。从去年3月文心一言发布至今，百模大战这一年诞生了不少明星玩家，却仍走不出一个实打实的超头部模型。
Build大会召开两周之后，微软更新了Phi-3系列模型的技术报告。不仅加入最新的基准测试结果，而且对小模型、高性能的实现机制做出了适当的揭示。
苹果讲了一个按Query难度分发模型的模式：B小模型：大多数场景，包括自动回复、改写、语法检查、Summary都用端侧的小模型跑。