2024 年 7 月，清华大学计算机系 PACMAN 实验室发布开源深度学习编译器 MagPy，可一键编译用户使用 Python 编写的深度学习程序，实现模型的自动加速。
Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中，标准深度学习方法的表现竟不及浅层网络。研究指出，这一现象的主要原因是 "可塑性损失"（Plasticity Loss）：深度神经网络在面对非平稳的训练目标持续更新时，会逐渐丧失从新数据中学习的能力。
昨天，OpenAI CEO 山姆阿尔特曼在新开的博客主页发了一篇长文《智能时代》。全文大致内容是：随着深度学习的发展，超级人工智能将在几千天后到来，到时候 AI 会改变人们的方方面面，人类也将进入智能时代。
今天，Sam Altman很罕见的在他的个人网站上发布了一篇推文：The Intelligence Age（智能时代）。
就在刚刚，奥特曼罕见发表长文，预言ASI将在「几千天内」降临！他肯定，深度学习已经奏效了，它能够真正学习任何数据的分布模式。如今人类奇点已经近在咫尺，我们眼看着就要迈进ASI的大门！
Transformer 是现代深度学习的基石。传统上，Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。
本论文第一作者倪赞林是清华大学自动化系 2022 级直博生，师从黄高副教授，主要研究方向为高效深度学习与图像生成。他曾在 ICCV、CVPR、ECCV、ICLR 等国际会议上发表多篇学术论文。
硬件发展速度跟不上 AI 需求，就需要精妙的架构和算法。
Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transformer 也因此难以处理非常长的文本。
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
