AI资讯新闻榜单内容搜索-Transforme

关键词: ViTamin,视觉基础模型,SOTA,Transformer,模型训练

视觉语言模型屡屡出现新突破，但ViT仍是图像编码器的首选网络结构。

关键词: 苹果,OpenELM,Llama 3,Phi-3,Transformer

从Llama 3到Phi-3，蹭着开源热乎劲儿，苹果也来搞事情了。

关键词: Mamba,MLLM,模型权重,Transformer,GPT-4

近年来，多模态大型语言模型（MLLM）在各个领域的应用取得了显著的成功。然而，作为许多下游任务的基础模型，当前的 MLLM 由众所周知的 Transformer 网络构成，这种网络具有较低效的二次计算复杂度。

关键词: Meta,模型训练,大模型,Transformers,LLM

Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案

关键词: Megalodon,Transformer,AI架构,AI学术,模型训练

继Mamba之后，又一敢于挑战Transformer的架构诞生了！

关键词: DeepMind,Transformer,AI架构,AI学术,谷歌

Transformer 的重要性无需多言，目前也有很多研究团队致力于改进这种变革性技术，其中一个重要的改进方向是提升 Transformer 的效率，比如让其具备自适应计算能力，从而可以节省下不必要的计算。

关键词: 长文本,谷歌AI,transformer,模型训练

通过这项技术，能使transformer大模型在有限的计算资源 条件下，处理无限长度的输入。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文

关键词: RNN,Transformer,RWKV,多头矩阵值状态,模型训练

不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展： 提出了两种新的RWKV架构，即Eagle (RWKV-5) 和Finch（RWKV-6)。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。