
深度揭秘爆火MoE!GPT-4关键架构,成开源模型逆袭杀手锏
深度揭秘爆火MoE!GPT-4关键架构,成开源模型逆袭杀手锏上周末,Mistral甩出的开源MoE大模型,震惊了整个开源社区。MoE究竟是什么?它又是如何提升了大语言模型的性能?
来自主题: AI资讯
6980 点击 2023-12-11 20:34
上周末,Mistral甩出的开源MoE大模型,震惊了整个开源社区。MoE究竟是什么?它又是如何提升了大语言模型的性能?
大模型长期以来一直存在一个致命的问题,即生成幻觉。由于数据集的复杂性,难免会包含过时和错误的信息,这使得输出质量面临着极大的挑战。过多的重复信息还可能导致大型模型产生偏见,这也算是一种形式的幻觉。
现在ChatGPT等大模型一大痛点:处理长文本算力消耗巨大,背后原因是Transformer架构中注意力机制的二次复杂度。
目前,通义千问开源全家桶已经有了 18 亿、70 亿、140 亿、720 亿参数量的 4 款基础开源模型,以及跨语言、图像、语音等多种模态的多款开源模型。
开源生态系统中出现了大量新兴参与者、模型和使用案例。未来当我们回顾过去时,很可能会将这段时期定位为两种AI类型——专有模型和开源模型——竞争公开化的决定性节点。
上海交大生成式人工智能研究组 (GAIR) 积极攻克难关,研发并开源了数学计算大模型 “阿贝尔(Abel)”,在多个榜单上取得开源第一!是首个海内外高校团队推出的 SOTA 数学开源大模型。
一经发布,地表最强开源模型Falcon 180B直接霸榜HF。3.5万亿token训练,性能直接碾压Llama 2。