谷歌爆改Transformer,“无限注意力”让1B小模型读完10部小说,114倍信息压缩 关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练 它通过将压缩记忆(compressive memory)整合到线性注意力机制中,用来处理无限长上下文 来自主题: AI资讯 7477 点击 2024-04-13 20:07
直接扩展到无限长,谷歌Infini-Transformer终结上下文长度之争 关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练 谷歌又放大招了,发布下一代 Transformer 模型 Infini-Transformer。 来自主题: AI技术研报 8335 点击 2024-04-13 16:44