
近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破
近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破正如论文一作所说,「新架构 Titans 既比 Transformer 和现代线性 RNN 更有效,也比 GPT-4 等超大型模型性能更强。」
来自主题: AI技术研报
6012 点击 2025-01-16 09:54
正如论文一作所说,「新架构 Titans 既比 Transformer 和现代线性 RNN 更有效,也比 GPT-4 等超大型模型性能更强。」
想挑战 Transformer 的新架构有很多,来自谷歌的“正统”继承者 Titan 架构更受关注。