AI资讯新闻榜单内容搜索-模型推理框架

关键词: 模型训练,Decoding Tree Sketching,模型推理框架,人工智能

专注推理任务的 Large Reasoning Models 在数学基准上不断取得突破，但也带来了一个重要问题：越想越长、越长越错。本文解读由 JHU、UNC Charlotte 等机构团队的最新工作

关键词: 人工智能,模型训练,Hao AI Lab,DistServe

2024年，加州大学圣地亚哥分校「Hao AI Lab」提出了DistServe的解耦推理理念，短短一年多时间，迅速从实验室概念成长为行业标准，被NVIDIA、vLLM等主流大模型推理框架采用，预示着AI正迈向「模块化智能」的新时代。

关键词: AI,模型训练,dInfer,人工智能

近日，蚂蚁集团正式开源业界首个高性能扩散语言模型（Diffusion Large Language Model，dLLM）推理框架 dInfer。