大语言模型的效率，正在被这家「清华系」创业公司发展到新高度。
来自主题: AI资讯
5607 点击 2024-04-13 14:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大语言模型的效率，正在被这家「清华系」创业公司发展到新高度。
识读距今2300多年战国时期的上古竹简，AI正在立功。 而且在这背后的“大功臣”，竟是只有2B大小的多模态大模型！
时隔七十多天，面壁在发布了MiniCPM-2B后又带来四个特性鲜明的模型，同时它还官宣了数亿元的新融资。
根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。
随着终端侧 AI 变革席卷全球，「小而强」的端侧大模型，成为行业主流玩家的必争之地。
MiniCPM 是一系列端侧语言大模型，主体语言模型 MiniCPM-2B 具有 2.4B 的非词嵌入参数量。
一个体量仅为2B的大模型，能有什么用？答案可能超出你的想象。
2B性能小钢炮来了！刚刚，面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM，2B就能赶超Mistral-7B，还能越级比肩Llama2-13B。成本更是低到炸裂，170万tokens成本仅为1元！
AI大模型在业界备受关注，但对于一些公司来说，采用小模型可能是一种更好的选择。微软已经开始研发小规模、低算力需求的模型，并组建新团队进行对话式AI的开发。而对于工业、金融和汽车等领域而言，小模型更易于落地，并且具有省电、省钱、省时间的优势。