搜索
金涛今年 26 岁，还是清华在读博士。真正把他带进「推理加速」的，是一个很朴素的判断——当大家都默认 FlashAttention 已经把 Attention 算子做到极致时，他却发现：显卡上明明还有更快的计算单元没被用起来 ——「这么明显的收益，为什么没人做？」
近日，由普林斯顿大学 Tri Dao（FlashAttention 的一作）和加州大学伯克利分校 Ion Stoica 领导的一个联合研究团队也做出了一个超快的索尼克：SonicMoE。据介绍，SonicMoE 能在英伟达 Blackwell GPU 上以峰值吞吐量运行！并且运算性能超过了 DeepSeek 之前开源并引发巨大轰动的 DeepGEMM。
所有用英伟达Blackwell B200的人，都在花冤枉钱？？
近日，深度学习领域重要底层优化技术 FlashAttention 迎来大版本更新。FlashAttention 核心作者、普林斯顿大学助理教授 Tri Dao 表示，在 Blackwell GPU 上，即使瓶颈截然不同，注意力机制的执行速度现在也几乎与矩阵乘法一样快了！
一句话总结：社区里困扰了多年的一个 “玄学” 现象终于被拆解清楚了：在 BF16 等低精度训练里，FlashAttention 不是随机出 bug，而是会在特定条件下触发有方向的数值偏置，借助注意力中涌现的相似低秩更新方向被持续放大，最终把权重谱范数和激活推到失控，导致 loss 突然爆炸。论文还给出一个几乎不改模型、只在 safe softmax 里做的极小修改，实测能显著稳定训练。
在正在举办的半导体行业会议 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布了 FlashAttention-4。
清华大学朱军教授团队提出SageAttention3，利用FP4量化实现推理加速，比FlashAttention快5倍，同时探索了8比特注意力用于训练任务的可行性，在微调中实现了无损性能。
又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！
用 FlexAttention 尝试一种新的注意力模式。
740 TFLOPS！迄今最强 FlashAttention 来了。