视频理解仍然是计算机视觉和人工智能领域的一个主要挑战。最近在视频理解上的许多进展都是通过端到端地训练多模态大语言模型实现的[1,2,3]。然而，当这些模型处理较长的视频时，内存消耗可能会显著增加，甚至变得难以承受，并且自注意力机制有时可能难以捕捉长程关系 [4]。这些问题阻碍了将端到端模型进一步应用于视频理解。
Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transformer 也因此难以处理非常长的文本。
用 FlexAttention 尝试一种新的注意力模式。
超越Transformer和Mamba的新架构，刚刚诞生了。斯坦福UCSD等机构研究者提出的TTT方法，直接替代了注意力机制，语言模型方法从此或将彻底改变。
荷兰拉德布德大学的研究团队通过定位大脑注意力机制，在AI「读心术」领域精确生成图像，能够依据大脑活动记录极为准确地重建猕猴所看到的内容。网友：这是人机融合的最终目标。
只要将注意力切块，就能让大模型解码提速20倍。
想要达成通用人工智能 AGI 的终极目标，首先要达成的是模型要能完成人类所能轻松做到的任务。为了做到这一点，大模型开发的关键指导之一便是如何让机器像人类一样思考和推理。诸如注意力机制和思维链（Chain-of-Thought）等技术正是由此产生的灵感。
Transformer挑战者、新架构Mamba，刚刚更新了第二代：
在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？
如何突破 Transformer 的 Attention 机制？中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型 vHeat。将图片特征块视为热源，并通过预测热传导率、以物理学热传导原理提取图像特征。相比于基于Attention机制的视觉模型， vHeat 同时兼顾了：计算复杂度（1.5次方）、全局感受野、物理可解释性。
