OpenAI前员工Leopold Aschenbrenner，之前在超级对齐（Superalignment）部门，可是能和Ilya大佬共事的。
在大模型浪潮中，训练和部署最先进的密集 LLM 在计算需求和相关成本上带来了巨大挑战，尤其是在数百亿或数千亿参数的规模上。为了应对这些挑战，稀疏模型，如专家混合模型（MoE），已经变得越来越重要。这些模型通过将计算分配给各种专门的子模型或「专家」，提供了一种经济上更可行的替代方案，有可能以极低的资源需求达到甚至超过密集型模型的性能。
自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。
Transformer挑战者、新架构Mamba，刚刚更新了第二代：
斯坦福团队抄袭清华系大模型事件后续来了—— Llama3-V团队承认抄袭，其中两位来自斯坦福的本科生还跟另一位作者切割了。
华南理工大学和香港大学的研究人员在ICML 2024上提出了一个简单而通用的时空提示调整框架FlashST，通过轻量级的时空提示网络和分布映射机制，使预训练模型能够适应不同的下游数据集特征，显著提高了模型在多种交通预测场景中的泛化能力。
AMD在Computex主题演讲上大出风头，推出了首批Zen 5处理器，包括台式机用Ryzen 9000 CPU和笔记本电脑用Ryzen AI 300「Strix Point 」APU。除此之外，AMD还宣布了芯片年更计划以及备受期待的第五代EPYC Turin处理器。
在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？
6 月 2 日，英伟达创始人黄仁勋在 Computex 2024（2024 台北国际电脑展）上发表主题演讲，分享了人工智能时代如何助推全球新产业革命，并且展示了最新的 Blackwell 芯片和后续的一系列更新节奏。
AI PC市场将迎来一场恶战。2024 台北电脑展，各家大厂都铆足了劲，尤其是英伟达、AMD、高通以及英特尔这几家。昨天，也就是 2024 台北电脑展前夜，英伟达率先举办了首场主题演讲，但这场演讲的内容与消费者的直接关系并不大，更多还是关于之前发布的 Blackwell GPU，Omniverse 和数字孪生技术。
