关键词: Mamba,MoE-Mamba,MoE,模型训练

状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。

关键词: OpenAI,Mistral AI,MoE,LLM

本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。

关键词: Gemini,Q*,混合专家模型,MoE

这项综述性研究报告批判性地分析了生成式AI的发展现状和发展方向，并探究了谷歌Gemini和备受期待的OpenAI Q*等创新成果将如何改变多个领域的实际应用。

关键词: MoE,多模态,多模态大模型

多模态大模型做“多任务指令微调”，大模型可能会“学得多错得多”，因为不同任务之间的冲突，导致泛化能力下降。

关键词: Llama2,GPT-4,MistralAI,Mistral-8x7B-MoE

混合专家模型（MoE）成为最近关注的热点。

关键词: MoE,GPT-3.5,Mixtral 8x7B,Llama 2

一条神秘磁力链接引爆整个AI圈，现在，正式测评结果终于来了：首个开源MoE大模型Mixtral 8x7B，已经达到甚至超越了Llama 2 70B和GPT-3.5的水平。

关键词: MoE,GPT-4,Mistral

上周末，Mistral甩出的开源MoE大模型，震惊了整个开源社区。MoE究竟是什么？它又是如何提升了大语言模型的性能？

关键词: 欧版OpenAI,MoE,Llama 2,GPT-4

前几日，一条MoE的磁力链接引爆AI圈。刚刚出炉的基准测试中，8*7B的小模型直接碾压了Llama 2 70B！网友直呼这是初创公司版的超级英雄故事，要赶超GPT-4只是时间问题了。有趣的是，创始人姓氏的首字母恰好组成了「L.L.M.」。

关键词: Mistral AI,8x7B MoE,MoE

「高端」的开源，往往采用最朴素的发布方式。昨天，Mistral AI 在 X 平台甩出一条磁力链接，宣布了新的开源动作。

关键词: MoE大模型,Mistral AI

“取消今晚所有计划！”，许多AI开发者决定不睡了。只因首个开源MoE大模型刚刚由Mistral AI发布。