清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
来自主题: AI技术研报
7127 点击 2025-06-19 10:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
扩散模型在视频合成任务中取得了显著成果，但其依赖迭代去噪过程，带来了巨大的计算开销。尽管一致性模型（Consistency Models）在加速扩散模型方面取得了重要进展，直接将其应用于视频扩散模型却常常导致时序一致性和外观细节的明显退化。
GSPN是一种新型视觉注意力机制，通过线性扫描和稳定性-上下文条件，高效处理图像空间结构，显著降低计算复杂度。通过线性扫描方法建立像素间的密集连接，并利用稳定性-上下文条件确保稳定的长距离上下文传播，将计算复杂度显著降低至√N量级。
随着大模型应用场景的不断拓展，其在处理长期对话时逐渐暴露出的记忆局限性日益凸显，主要表现为固定长度上下文窗口导致的“健忘”问题。
还在靠“开盲盒”选择大模型？ 来自弗吉尼亚理工大学的研究人员推出了个选型框架LensLLM
当 AI 放下海德格尔的锤子时，意味着机器人已经能够熟练使用工具，工具会“隐退”成为本体的延伸，而不再是需要刻意思考的对象。
大模型学习不仅要正确知识，还需要一个“错题本”？
近年来，大型语言模型（LLM）在处理复杂任务方面取得了显著进展，尤其体现在多步推理、工具调用以及多智能体协作等高级应用中。这些能力的提升，往往依赖于模型内部一系列复杂的「思考」过程或 Agentic System 中的 Agent 间频繁信息交互。
原生并行生成不仅仅是加速，它是我们对 LLM 推理思考方式的根本转变。
ZPressor能高效压缩3D高斯泼溅（3DGS）模型的多视图输入，解决其在处理密集视图时的性能瓶颈，提升渲染效率和质量。