AI资讯新闻榜单内容搜索-注意力机制

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

Transformer挑战者、新架构Mamba，刚刚更新了第二代：

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？

关键词: 扩散模型,视觉模型,vHeat,模型训练,AI学术

如何突破 Transformer 的 Attention 机制？中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型 vHeat。将图片特征块视为热源，并通过预测热传导率、以物理学热传导原理提取图像特征。相比于基于Attention机制的视觉模型， vHeat 同时兼顾了：计算复杂度（1.5次方）、全局感受野、物理可解释性。

关键词: AI,注意力机制,SAPT,AI框架,模型训练

在大模型实际部署落地的过程中，如何赋予大模型持续学习的能力是一个至关重要的挑战。这使其能够动态适应新的任务并不断获得新的知识。大模型的持续学习主要面临两个重大挑战，分别是灾难性遗忘和知识迁移。灾难性遗忘是指模型在学习新任务时，会忘记其已掌握的旧任务。知识迁移则涉及到如何在学习新任务时有效地应用旧任务的知识来提升新任务学习的效果。

关键词: 模型训练,Flash Attention,GPU,注意力机制

众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文

关键词: Lightning Attention-2,注意力机制,OpenNLPLab

Lightning Attention-2 是一种新型的线性注意力机制，让长序列的训练和推理成本与 1K 序列长度的一致。

关键词: 扩散模型,Mamba,Transformer

替代注意力机制，SSM 真的大有可为？

关键词: Mamba,状态空间模型,Transformer

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。

关键词: llama2,羊驼模型,大模型

大语言模型「拍马屁」的问题到底要怎么解决？最近，LeCun转发了Meta发布的一篇论文，研究人员提出了新的方法，有效提升了LLM回答问题的事实性和客观性。我们一起来看一下吧。