AI资讯新闻榜单内容搜索-Mamba

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

Transformer挑战者、新架构Mamba，刚刚更新了第二代：

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？

关键词: Mamba,Transformer,AI框架,AI视频,模型训练,Video Mamba Suite

探索视频理解的新境界，Mamba 模型引领计算机视觉研究新潮流！传统架构的局限已被打破，状态空间模型 Mamba 以其在长序列处理上的独特优势，为视频理解领域带来了革命性的变革。

关键词: Mamba,MLLM,模型权重,Transformer,GPT-4

近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。

关键词: Mamba,Transformer,Transformer,AI框架,AI学术,模型训练

精彩精彩，第一个把爆火Mamba架构真正扩展到足够大的工作来了。 520亿参数，还是Mamba+Transformer混合架构。 它的名字叫Jamba。

关键词: Mamba,混合大模型,开源大模型,Transformer,token

【新智元导读】52B的生产级Mamba大模型来了！这个超强变体Jamba刚刚打破世界纪录，它能正面硬刚Transformer，256K超长上下文窗口，吞吐量提升3倍，权重免费下载。

关键词: Mamba,混合大模型,开源大模型,Transformer,token

Mamba时代来了？

关键词: DenseMamba,DenseNet,Mamba,模型训练

近期，来自华为诺亚方舟实验室的研究者提出了 DenseSSM，用于增强 SSM 中各层间隐藏信息的流动。通过将浅层隐藏状态有选择地整合到深层中，DenseSSM 保留了对最终输出至关重要的精细信息。

关键词: RNN,Transformer,Mamba,模型训练,DeepMind

去年 12 月，新架构 Mamba 引爆了 AI 圈，向屹立不倒的 Transformer 发起了挑战。如今，谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。

关键词: Mamba,Transformer,AI框架,AI算法

几天前，ICLR 2024 的最终接收结果出来了。