AI怎样模仿人类大脑的注意力机制？
AI怎样模仿人类大脑的注意力机制？最近，人们对AI谈得最多的是deepseek（简称DS）。这匹来自中国本土的黑马，闯入全球视野，一度扰乱美国股市，在 AI 领域掀起了一场轩然大波。
来自主题: AI技术研报
7797 点击 2025-05-17 18:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
最近，人们对AI谈得最多的是deepseek（简称DS）。这匹来自中国本土的黑马，闯入全球视野，一度扰乱美国股市，在 AI 领域掀起了一场轩然大波。
ICLR 2025时间检验奖重磅揭晓！Yoshua Bengio与华人科学家Jimmy Ba分别领衔的两篇十年前论文摘得冠军与亚军。一个是Adam优化器，另一个注意力机制，彻底重塑深度学习的未来。
大模型同样的上下文窗口，只需一半内存就能实现，而且精度无损？ 前苹果ASIC架构师Nils Graef，和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。
Transformer 架构在过去几年中通过注意力机制在多个领域（如计算机视觉、自然语言处理和长序列任务）中取得了非凡的成就。然而，其核心组件「自注意力机制」 的计算复杂度随输入 token 数量呈二次方增长，导致资源消耗巨大，难以扩展到更长的序列或更大的模型。
随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton，另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer，从注意力模块入手，实现了Transformer的核心能力提升。
注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。
用 FlexAttention 尝试一种新的注意力模式。
只要将注意力切块，就能让大模型解码提速20倍。
Transformer挑战者、新架构Mamba，刚刚更新了第二代：
在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？