AI资讯新闻榜单内容搜索-模型推理

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 模型推理
扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

基于扩散的大语言模型 (dLLM) 凭借全局解码和双向注意力机制解锁了原生的并行解码和受控生成的潜力,最近吸引了广泛的关注。例如 Fast-dLLM 的现有推理框架通过分块半自回归解码进一步实现了 dLLM 对 KV cache 的支持,挑战了传统自回归 LLMs 的统治地位。

来自主题: AI技术研报
5524 点击    2025-12-11 10:42
NeurIPS 2025 | DynaAct:DeepSeek R1之外,探索大模型推理的另一条道路

NeurIPS 2025 | DynaAct:DeepSeek R1之外,探索大模型推理的另一条道路

NeurIPS 2025 | DynaAct:DeepSeek R1之外,探索大模型推理的另一条道路

大模型推理的爆发,实际源于 scaling 范式的转变:从 train-time scaling 到 test-time scaling(TTS),即将更多的算力消耗部署在 inference 阶段。典型的实现是以 DeepSeek r1 为代表的 long CoT 方法:通过增加思维链的长度来获得答案精度的提升。那么 long CoT 是 TTS 的唯一实现吗?

来自主题: AI技术研报
7800 点击    2025-11-30 09:30
NeurIPS重磅:华南理工团队重构扩散模型推理,质量效率双SOTA

NeurIPS重磅:华南理工团队重构扩散模型推理,质量效率双SOTA

NeurIPS重磅:华南理工团队重构扩散模型推理,质量效率双SOTA

扩散概率生成模型(Diffusion Models)已成为AIGC时代的重要基础,但其推理速度慢、训练与推理之间的差异大,以及优化困难,始终是制约其广泛应用的关键问题。近日,被NeurIPS 2025接收的一篇重磅论文EVODiff给出了全新解法:来自华南理工大学曾德炉教授「统计推断,数据科学与人工智能」研究团队跳出了传统的数值求解思维,首次从信息感知的推理视角,将去噪过程重构为实时熵减优化问题。

来自主题: AI技术研报
6689 点击    2025-11-24 14:32
SGLang Diffusion震撼发布:图像视频生成速度猛提57%!

SGLang Diffusion震撼发布:图像视频生成速度猛提57%!

SGLang Diffusion震撼发布:图像视频生成速度猛提57%!

就在一周前,全宇宙最火爆的推理框架 SGLang 官宣支持了 Diffusion 模型,好评如潮。团队成员将原本在大语言模型推理中表现突出的高性能调度与内核优化,扩展到图像与视频扩散模型上,相较于先前的视频和图像生成框架,速度提升最高可达 57%:

来自主题: AI技术研报
7331 点击    2025-11-22 11:33
无需训练、只优化解码策略,DTS框架让大模型推理准确率提升6%,推理长度缩短23%

无需训练、只优化解码策略,DTS框架让大模型推理准确率提升6%,推理长度缩短23%

无需训练、只优化解码策略,DTS框架让大模型推理准确率提升6%,推理长度缩短23%

专注推理任务的 Large Reasoning Models 在数学基准上不断取得突破,但也带来了一个重要问题:越想越长、越长越错。本文解读由 JHU、UNC Charlotte 等机构团队的最新工作

来自主题: AI技术研报
6782 点击    2025-11-22 11:31
英伟达、DeepSeek集体跟进!18个月前被忽视,如今统治AI推理

英伟达、DeepSeek集体跟进!18个月前被忽视,如今统治AI推理

英伟达、DeepSeek集体跟进!18个月前被忽视,如今统治AI推理

2024年,加州大学圣地亚哥分校「Hao AI Lab」提出了DistServe的解耦推理理念,短短一年多时间,迅速从实验室概念成长为行业标准,被NVIDIA、vLLM等主流大模型推理框架采用,预示着AI正迈向「模块化智能」的新时代。

来自主题: AI技术研报
8737 点击    2025-11-09 15:37
视频模型假装在推理?MME-CoF新基准评估12个推理维度

视频模型假装在推理?MME-CoF新基准评估12个推理维度

视频模型假装在推理?MME-CoF新基准评估12个推理维度

视频生成模型如Veo-3能生成逼真视频,但有研究发现其推理能力存疑。香港中文大学、北京大学、东北大学的研究者们设计了12项测试,发现模型只能模仿表面模式,未真正理解因果。这项研究为视频模型推理能力评估提供基准,指明未来研究方向。

来自主题: AI技术研报
7100 点击    2025-11-08 11:16
扩展外部测试时Scaling Law,中关村学院新发现:轻量级验证器可解锁LLM推理最优选择

扩展外部测试时Scaling Law,中关村学院新发现:轻量级验证器可解锁LLM推理最优选择

扩展外部测试时Scaling Law,中关村学院新发现:轻量级验证器可解锁LLM推理最优选择

在大语言模型(LLM)席卷各类复杂任务的今天,“测试时扩展”(Test-Time Scaling,TTS)已成为提升模型推理能力的核心思路 —— 简单来说,就是在模型 “答题” 时分配更多的计算资源来让它表现更好。严格来说,Test-Time Scaling 分成两类:

来自主题: AI技术研报
7218 点击    2025-11-06 14:59
英伟达帮你省钱,让大模型推理「短而精」,速度快5倍

英伟达帮你省钱,让大模型推理「短而精」,速度快5倍

英伟达帮你省钱,让大模型推理「短而精」,速度快5倍

大模型推理到底要不要「长篇大论」?过去一年,OpenAI o 系列、DeepSeek-R1、Qwen 等一系列推理模型,把「长链思维」玩到极致:答案更准了,但代价是推理链越来越长、Token 消耗爆炸、响应速度骤降。

来自主题: AI技术研报
6589 点击    2025-11-04 16:09
港科提出新算法革新大模型推理范式:随机策略估值竟成LLM数学推理「神操作」

港科提出新算法革新大模型推理范式:随机策略估值竟成LLM数学推理「神操作」

港科提出新算法革新大模型推理范式:随机策略估值竟成LLM数学推理「神操作」

论文第一作者何浩然是香港科技大学博士生,研究方向包括强化学习和基础模型等,研究目标是通过经验和奖励激发超级智能。共同第一作者叶语霄是香港科技大学一年级博士。通讯作者为香港科技大学电子及计算机工程系、计

来自主题: AI技术研报
8247 点击    2025-11-01 09:24