本文是对亚马逊AWS研究团队最新发表的APO（自动提示词优化）技术综述的深度解读。该研究由Kiran Ramnath、Kang Zhou等21位来自AWS的资深研究者共同完成，团队成员来自不同技术背景，涵盖了机器学习、自然语言处理、系统优化等多个专业领域。
高调亮相的世界首个「AI CUDA工程师」，宣称能让模型训练速度飙升100倍，如今却上演了一场「作弊」闹剧。OpenAI研究员用o3-mini，11秒便发现了内核代码有bug！
Transformer论文八位作者之一Llion Jones创立的Sakana AI发布重磅成果——全球首个「AI CUDA工程师」！它能将PyTorch代码自动转换为高度优化的CUDA内核，速度比PyTorch原生实现快10-100倍。
Sakana AI发布了Transformer²新方法，通过奇异值微调和权重自适应策略，提高了LLM的泛化和自适应能力。新方法在文本任务上优于LoRA；即便是从未见过的任务，比如MATH、HumanEval和ARC-Challenge等，性能也都取得了提升。
Sakana AI联合MIT、OpenAI等机构提出了全新算法，自动搜索人工生命再达新的里程碑！不需要繁琐手工设计，只通过描述，AI就能发现全新的人造生命体了。
大模型版生命游戏来了。
天啦撸！！AI想出来的idea，还真有人写成论文了。甚至预印本arXiv、博客、代码全都有了。今年8月，Sakana AI（由Transformer论文8位作者的最后一位Llion Jones创业成立）这家公司推出了史上首位“AI科学家”，且一登场就一口气生成了十篇完整学术论文。
Transformer 是现代深度学习的基石。传统上，Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。
KAN的诞生，开启了机器学习的新纪元！而这背后，竟是MIT华人科学家最先提出的实践想法。从KAN到KAN 2.0，这个替代MLP全新架构正在打开神经网络的黑盒，为下一步科学发现打开速通之门。
爆火神经网络架构KAN，上新了！
