人工智能正经历一场由大模型引发的革命。这些拥有数十亿甚至万亿参数的庞然大物，正在重塑我们对 AI 能力的认知，也构筑起充满挑战与机遇的技术迷宫——从计算集群高速互联网络的搭建，到训练过程中模型稳定性和鲁棒性的提升，再到探索更快更优的压缩与加速方法，每一步都是对创新者的考验。
最近ACL 2024 论文放榜，扫了下，SMoE（稀疏混合专家）的论文不算多，这里就仔细梳理一下，包括动机、方法、有趣的发现，方便大家不看论文也能了解的七七八八，剩下只需要感兴趣再看就好。
近日，来自加州大学尔湾分校等机构的研究人员，利用延迟掩蔽、MoE、分层扩展等策略，将扩散模型的训练成本降到了1890美元。
残暴的欢愉，终将以残暴结束。 当盛宴开启之时，没人想到，大模型的淘汰赛，会来的如此之快。 火药味首先表现在创投市场。PitchBook 最新报告披露，相比2023年一季度，全球2024年一季度大模型融资额，从216.9亿美元增长到了258.7亿美元，但涉及的交易数量，却从 1909 笔下滑至1545笔——产业格局正迅速向强者收拢。
LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。
MoE 因其在训推流程中低销高效的特点，近两年在大语言模型领域大放异彩。作为 MoE 的灵魂，专家如何能够发挥出最大的学习潜能，相关的研究与讨论层出不穷。此前，华为 GTS AI 计算 Lab 的研究团队提出了 LocMoE ，包括新颖的路由网络结构、辅助降低通信开销的本地性 loss 等，引发了广泛关注。
MoE已然成为AI界的主流架构，不论是开源Grok，还是闭源GPT-4，皆是其拥趸。然而，这些模型的专家，最大数量仅有32个。最近，谷歌DeepMind提出了全新的策略PEER，可将MoE扩展到百万个专家，还不会增加计算成本。
释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。
在今天揭幕的 2024 世界人工智能大会暨人工智能全球治理高级别会议（简称“WAIC 2024”）上，阶跃星辰首发了三款 Step 系列通用大模型新品：Step-2 万亿参数语言大模型正式版、Step-1.5V 多模态大模型、Step-1X 图像生成大模型。
在 2024 年世界人工智能大会的现场，很多人在一个展台前排队，只为让 AI 大模型给自己在天庭「安排」一个差事。
