清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
来自主题: AI技术研报
8822 点击 2025-06-19 10:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
只用一个模型，就能边思考边动手，涮火锅、调鸡尾酒，还能听你指挥、自己纠错 —— 未来通用机器人的关键一跃，或许已经到来。
三维场景是构建世界模型、具身智能等前沿科技的关键环节之一。
大数据和大模型已成为具身智能领域业界和学术界的焦点，人们也在期待人形机器人真正步入大数据、大模型时代。然而，行业一直缺乏稳定的人形机器人全身遥操作与数据采集方案。
RNN太老，Transformer太慢？谷歌掀翻Transformer王座，用「注意力偏向+保留门」取代传统遗忘机制，重新定义了AI架构设计。全新模型Moneta、Yaad、Memora，在多个任务上全面超越Transformer。这一次，谷歌不是调参，而是换脑！
AI Agent又解锁了一个领域！清华大学牵头，与西北工业大学以及上海AI lab等机构推出了电镜领域的AI agent——AutoMat。
近期arxiv最热门论文，Qwen&清华LeapLab团队最新成果： 在强化学习训练大模型推理能力时，仅仅20%的高熵token就能撑起整个训练效果，甚至比用全部token训练还要好。
清华与蚂蚁联合开源AReaL-boba²，实现全异步强化学习训练系统，有效解耦模型生成与训练流程，GPU利用率大幅提升。14B模型在多个代码基准测试中达到SOTA，性能接近235B模型。异步RL训练上大分！
AI数学家来了！清华团队出品—— 他们推出AI Mathematician（AIM）框架，推理模型也能求解前沿理论研究，并且证明完成度很高。
首个专为ALLMs（音频大语言模型）设计的多维度可信度评估基准来了。