150B token从头训练,普林斯顿Meta发布完全可微MoE架构Lory 关键词: token,MoE,Lory,模型训练,AI 前几天,普林斯顿大学联合Meta在arXiv上发表了他们最新的研究成果——Lory模型,论文提出构建完全可微的MoE模型,是一种预训练自回归语言模型的新方法。 来自主题: AI技术研报 8941 点击 2024-05-20 16:10