AI资讯新闻榜单内容搜索-FlashAtten

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: FlashAtten
清华第三代Sage注意力发布!提速5倍,精度不降,训推都能用

清华第三代Sage注意力发布!提速5倍,精度不降,训推都能用

清华第三代Sage注意力发布!提速5倍,精度不降,训推都能用

清华大学朱军教授团队提出SageAttention3,利用FP4量化实现推理加速,比FlashAttention快5倍,同时探索了8比特注意力用于训练任务的可行性,在微调中实现了无损性能。

来自主题: AI技术研报
6007 点击    2025-07-08 12:08
又快又准,即插即用!清华8比特量化Attention,两倍加速于FlashAttention2,各端到端任务均不掉点!

又快又准,即插即用!清华8比特量化Attention,两倍加速于FlashAttention2,各端到端任务均不掉点!

又快又准,即插即用!清华8比特量化Attention,两倍加速于FlashAttention2,各端到端任务均不掉点!

又快又准,即插即用!清华8比特量化Attention,两倍加速于FlashAttention2,各端到端任务均不掉点!

来自主题: AI技术研报
8682 点击    2024-10-19 14:15
Mamba一作再祭神作,H100利用率飙至75%!FlashAttention三代性能翻倍,比标准注意力快16倍

Mamba一作再祭神作,H100利用率飙至75%!FlashAttention三代性能翻倍,比标准注意力快16倍

Mamba一作再祭神作,H100利用率飙至75%!FlashAttention三代性能翻倍,比标准注意力快16倍

时隔一年,FlashAttention又推出了第三代更新,专门针对H100 GPU的新特性进行优化,在之前的基础上又实现了1.5~2倍的速度提升。

来自主题: AI技术研报
8454 点击    2024-07-12 16:57
PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍

PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍

PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍

这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证

来自主题: AI技术研报
3193 点击    2023-10-18 14:43