AI资讯新闻榜单内容搜索-Mixture-of

关键词: Mixture-of-Memories,模型训练,AI Lab,人工智能

回顾 AGI 的爆发，从最初的 pre-training (model/data) scaling，到 post-training (SFT/RLHF) scaling，再到 reasoning (RL) scaling，找到正确的 scaling 维度始终是问题的本质。

关键词: AI框架,Transformer,AI架构,谷歌AI,Mixture-of-Depths

谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。