微软让MoE长出多个头,大幅提升专家激活率 关键词: 微软,moe,Mixtral 8x7B,Gemini 1.5 MH-MoE 能优化几乎所有专家,实现起来非常简单。 来自主题: AI资讯 9414 点击 2024-05-14 13:14