搜索
大语言模型的生成过程天然具有自回归特性，即模型基于已有上下文逐 token 预测并生成后续内容。随着模型规模不断增大，单步前向计算的开销也随之增加，使得自回归解码面临较高的推理延迟。
ChatGPT共同创造者Liam Fedus表示，数学可由Lean验证，但材料等物质科学必须依靠真实实验，因此其创立的Periodic Labs在门洛帕克建设实验室，结合语言模型推理、物理模拟与高通量实验探索AI科学家。
浪潮信息在AICC 2026发布搭载128芯本土AI芯片的元脑SD200 Ultra超节点AI服务器，通过超级算子融合技术将2.8万亿参数Kimi K3的Token生成时延降至5.85毫秒，与海外Inferact以"巨内核"路线共同打响万亿参数模型推理效率战。
三星大模型团队联合牛津大学、北京大学提出TrOPD方法，通过信任域机制让端侧模型更稳定高效地继承大模型推理能力，在数学、代码、指令遵循、STEM基准上全面超越现有OPD方法，为前沿智能以更低成本走向数亿终端提供新路径。
Anthropic发布Fable 5.1，推出"上下文一致性验证"机制，严格锁定API返回的"思考块"，任何修改上下文的行为将被直接报错，从而彻底切断通过API蒸馏大模型推理过程的后路。
最近，英伟达发了篇官方的大模型推理指南，结果翻着翻着，硬是让人看成了一本华人团队的论文合集。
亚马逊AWS宣布Amazon Bedrock AgentCore Payments正式进入GA阶段。此前还只有一些简单付费场景的预览功能，现在已经可以让 AI Agent在用户授权和预算限制下，自主购买付费API、MCP服务、数字内容以及模型推理能力。
过去几年，大模型推理系统优化的核心目标一直围绕一个问题展开：如何让 GPU 更高效地计算权重、激活、KV Cache 等高维张量？从并行策略、请求调度、显存管理到算子优化，学界业界大量优化技术不断提升模型推理效率。
近日，Oh My Pi 作者 can1357 在 X 上发文，展示了利用模型 API 漏洞，直接提取 GPT-5.6、Claude Fable 5 等顶级模型完整内部推理记录的方法。他发现，做到这些并不用破解加密，只需要关闭模型的隐藏思考，再给它一个思考工具，就能让模型主动输出内部推理格式。
在刚刚落幕的2026 WAIC世界人工智能大会上，无问芯穹首次公布了其在大模型推理系统架构中的新突破——跨集群异构推理架构PDD。