AI资讯新闻榜单内容搜索-Fast-dLLM

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: Fast-dLLM
扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

基于扩散的大语言模型 (dLLM) 凭借全局解码和双向注意力机制解锁了原生的并行解码和受控生成的潜力,最近吸引了广泛的关注。例如 Fast-dLLM 的现有推理框架通过分块半自回归解码进一步实现了 dLLM 对 KV cache 的支持,挑战了传统自回归 LLMs 的统治地位。

来自主题: AI技术研报
5618 点击    2025-12-11 10:42
NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

自回归(AR)大语言模型逐 token 顺序解码的范式限制了推理效率;扩散 LLM(dLLM)以并行生成见长,但过去难以稳定跑赢自回归(AR)模型,尤其是在 KV Cache 复用、和 可变长度 支持上仍存挑战。

来自主题: AI技术研报
7454 点击    2025-10-27 16:46
谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍

谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍

谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍

近日,NVIDIA 联合香港大学、MIT 等机构重磅推出 Fast-dLLM,以无需训练的即插即用加速方案,实现了推理速度的突破!通过创新的技术组合,在不依赖重新训练模型的前提下,该工作为扩散模型的推理加速带来了突破性进展。本文将结合具体技术细节与实验数据,解析其核心优势。

来自主题: AI技术研报
9121 点击    2025-05-30 12:08