Transformer模型自2017年问世以来，已成为AI领域的核心技术，尤其在自然语言处理中占据主导地位。然而，关于其核心机制“注意力”的起源，学界存在争议，一些学者如Jürgen Schmidhuber主张自己更早提出了相关概念。
几个小时前，著名 AI 研究者、OpenAI 创始成员之一 Andrej Karpathy 发布了一篇备受关注的长推文，其中分享了注意力机制背后一些或许少有人知的故事。
无需Transformer，简单滤波器即可提高时间序列预测精度。 由国家信息中心、牛津大学、北京理工大学、同济大学、中国科学技术大学等机构的团队提出了一个FilterNet。 目前已被NeurlPS 2024接收。
一个有效的复杂系统总是从一个有效的简单系统演化而来的。——John Gall
北京大学研究团队开发的FAN模型能有效捕捉数据中的周期性模式，相比传统模型在多项任务中表现出色，同时降低了参数量和计算量，增强了对周期性特征的建模能力，应用潜力广泛。
在机器学习领域，开发一个在未见过领域表现出色的通用智能体一直是长期目标之一。一种观点认为，在大量离线文本和视频数据上训练的大型 transformer 最终可以实现这一目标。
在AI领域数据和算力的军备竞赛中，AI从业者要么紧密跟随OpenAI等领先公司做进一步的应用开发，要么在Transformer机制日益显现局限之时探索新的路径。
Sora 的发布让广大研究者及开发者深刻认识到基于 Transformer 架构扩散模型的巨大潜力。作为这一类的代表性工作，DiT 模型抛弃了传统的 U-Net 扩散架构，转而使用直筒型去噪模型。鉴于直筒型 DiT 在隐空间生成任务上效果出众，后续的一些工作如 PixArt、SD3 等等也都不约而同地使用了直筒型架构。
新一代通用灵活的网络结构 TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters 来啦！
30多年的数学猜想首次获得了进展！Meta等学者提出的PatternBoost，使用Transformer构造了一个反例，反驳了一个已悬而未决30年的猜想。是否所有数学问题都适合机器学习技术？这样的未来太令人期待了。
