搜索
几乎所有 Transformer 都在做一件反常的事：把大量注意力集中到少数几个特定 Token 上。这不是 bug，而是 Transformer 固有的「注意力汇聚」（Attention Sink）。首篇系统性综述，带你从利用、理解到消除，全面掌握这一核心现象。
就在刚刚，Codex平台爆发重大泄漏事故，内部测试环境疑似误推生产环境。GPT-5.5、「风速狗」Arcanine、「海森堡」以及神秘的Glacier集体亮相。奥特曼口中那个「比Transformer更伟大的架构」，难道已经藏在这些模型背后？
最近，苹果又整了个活儿，很工程、也挺关键： 把又贵又强的 Transformer，改造成又便宜又差不多强的 Mamba。而且，性能基本没怎么掉。
试想一下，如果把当下大火的大模型技术带回 1970 年，会发生什么？
在时间序列预测领域，深度模型如iTransformer、PatchTST虽然性能强劲，却长期困于“黑盒”困境——预测准，但说不出为什么。
第一篇论文来自字节SEED团队， 打了一些基础； 《Over-Tokenized Transformer》。 论文标题看上去在讨论“过度分词”。 而重点必然是在第二篇上—— DeepSeek公司的学术成果Engram。 《Conditional Memory via Scalable Lookup》 也就是Engram模块所出处的论文。
ICLR论文STEM架构率先提出「查表式记忆」架构，早于DeepSeek Engram三个月。它将Transformer的FFN从动态计算改为静态查表，用token索引的embedding表直接读取记忆，彻底解耦记忆容量与计算开销。
Transformer不保？今天，CMU普林斯顿原班人马杀回，新一代开源架构Mamba-3震撼降临。15亿参数战力爆表，性能比Transformer飙升4%。
LLM推理已经顶尖，精确计算却跟不上。这局怎么破？卡帕西点赞的解决方法来了，在大模型内部构建一台原生计算机。新方法不搞外包那一套（不依赖任何外部工具），直接在Transformer权重里内嵌可执行程序。
终结Transformer的架构即将诞生！奥特曼最新访谈豪言，下一代AI架构彻底颠覆Transformer，LSTM的命运或将再次上演。