关键词: Llama 3,Arctic,Dense-MoE,Mixtral

就在刚刚，拥有128位专家和4800亿参数的Arctic，成功登上了迄今最大开源MoE模型的宝座。