清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
来自主题: AI技术研报
7154 点击 2025-06-19 10:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
LLM 和 agent 最关键的能力之一就是基于 context 来准确完成用户的任务，而最真实、鲜活的 context 往往不在 Google doc 等文档中，而是存在人与人的对话中，纪要就承载着这一类高价值信息。
在生成式 AI 迅猛演进的时代浪潮中，Cognition AI 正成为硅谷最受瞩目的技术公司之一。而其背后，是一位横跨数学竞赛、工程实践与系统构建的 90 后创始人——Scott Wu。
您有没有这样的体验？一天的工作里，您可能用GPTo3写了个方案，然后切换到Cursor或者Trae里写代码，接着又打开Notion或者飞书整理文档。每个工具都挺聪明，但它们彼此之间就像生活在平行宇宙——写方案的GPT不知道您后来写了什么代码，写代码的Cursor也不清楚您的整体规划是什么。
当前数学领域的数据生成方法常常局限于对单个问题进行改写或变换，好比是让学生反复做同一道题的变种，却忽略了数学题目之间内在的关联性。
编程智能体确实厉害！Transformer作者Llion Jones初创公司，专门收集了NP难题并测试了AI智能体，结果竟在上千人竞赛中排第 21！这意味着，它已经比绝大多数人写得好了。
当前，Agentic RAG（Retrieval-Augmented Generation）正逐步成为大型语言模型访问外部知识的关键路径。但在真实实践中，搜索智能体的强化学习训练并未展现出预期的稳定优势。一方面，部分方法优化的目标与真实下游需求存在偏离，另一方面，搜索器与生成器间的耦合也影响了泛化与部署效率。
和那些看着酷但鸡肋的 AI，可不一样，它是真的管用。 在不久前结束的 Google I/O 上，Google 悄咪咪地在安卓和 iOS 同时上线了一款“旧”app——NotebookLM。发布当日，不到 24 小时，它就夺得苹果 App Store 中生产工具类别的第二名
在企业系统和科学研究中普遍存在、结构复杂的关系型数据库（Relational DataBase, RDB）场景中，基础模型的探索仍处于早期阶段。
越通用，就越World Models。 我们知道，大模型技术爆发的原点可能在谷歌一篇名为《Attention is All You Need》的论文上。