针对「大模型推理速度慢，生成token高延迟」的难题，莫纳什、北航、浙大等提出R-Stitch框架，通过大小模型动态协作，衡量任务风险后灵活选择：简单任务用小模型，关键部分用大模型。实验显示推理速度提升最高4倍，同时保证高准确率。
英伟达桌面超算，邪修玩法来了！两台DGX Spark串联一台苹果Mac Studio，就能让大模型推理速度提升至2.77倍。
在多模态大模型的后训练浪潮中，强化学习驱动的范式已成为提升模型推理与通用能力的关键方向。
近日，蚂蚁集团正式开源业界首个高性能扩散语言模型（Diffusion Large Language Model，dLLM）推理框架 dInfer。
来自加拿大蒙特利尔三星先进技术研究所（SAIT）的高级 AI 研究员 Alexia Jolicoeur-Martineau 介绍了微型递归模型（TRM）。这个 TRM 有多离谱呢？一个仅包含 700 万个参数（比 HRM 还要小 4 倍）的网络，在某些最困难的推理基准测试中，
在一场视觉算法挑战中，一组参赛团队将道路识别模型部署至在轨卫星，完成了从图像采集、模型推理到结构化结果回传的全过程。 图像未落地，模型也并未运行在地面，所有计算任务均在轨道上完成，最终仅回传识别结果。
不牺牲任何生成质量，将多模态大模型推理最高加速3.2倍！ 华为诺亚方舟实验室最新研究已入选NeurIPS 2025。
本文介绍使用四块Framework主板构建AI推理集群的完整过程，并对其在大语言模型推理任务中的性能表现进行了系统性评估。该集群基于AMD Ryzen AI Max+ 395处理器，采用mini ITX规格设计，可部署在10英寸标准机架中。
思维链 (CoT) 提示技术常被认为是让大模型分步思考的关键手段，通过在输入中加入「Let’s think step by step」等提示，模型会生成类似人类的中间推理步骤，显著提升复杂任务的表现。然而，这些流畅的推理链条是否真的反映了模型的推理能力？
强化学习（RL）范式虽然显著提升了大语言模型（LLM）在复杂任务中的表现，但其在实际应用中仍面临传统RL框架下固有的探索难题。
