2倍提速！KV缓存压缩不只看重要性，上交大团队让模型推理「又快又稳」 | ICLR'26
2倍提速！KV缓存压缩不只看重要性，上交大团队让模型推理「又快又稳」 | ICLR'26长上下文推理已经成了VLM/LLM的默认形态。
来自主题: AI技术研报
5418 点击 2026-04-01 09:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
长上下文推理已经成了VLM/LLM的默认形态。
随着大模型长上下文能力快速增长，海量 KV Cache 存储需求急剧增加，各类 KV Cache 压缩方法如雨后春笋般涌现。然而，这些方案在真实场景中的工程落地却常常陷入困境。
随着多模态大语言模型（MLLM）支持更长上下文，高分辨率图像和长视频会产生远多于文本的视觉 Token，在自注意力二次复杂度下迅速成为效率瓶颈。
一边的人，每次跟 Agent 说话都像重新 onboarding：得再讲一遍背景、偏好和上下文。另一边的人，Agent 已经知道自己是谁、该怎么说话、用户讨厌什么，也记得上次积累下来的东西。这条分界线，叫 workspace。
现在的AI agent往往把长交互历史直接存起来，但很难高效复用。最朴素的方法直接从「原始记忆」里检索，但常常把模型淹没在冗长、低价值的上下文里。PlugMem把经验转化为结构化、可复用的知识，并提出一个任务无关（task-agnostic）的统一记忆模块，在多种Agent基准上提升性能，同时消耗更少。
人的智能能力主要由推理能力和长期记忆能力构成。近年来，大模型的推理能力一直处于快速发展过程，但大模型的长期记忆能力一直受限于上下文长度，无法取得突破。在历史上，曾经有多种路线进行尝试，但都无法突破扩展性（Scalability）、精度（Precision）和效率（Efficiency）的不可能三角。
MLRA通过拆分KV缓存为四个并行分支，显著降低显存占用并实现4路张量并行。推理速度比MLA最高快2.8倍，支持百万级上下文，且模型质量更优。无需牺牲性能，即可高效扩展长文本处理能力。
谷歌DeepMind刚刚为Gemini API放了一个大招：内置工具和自定义函数终于可以在同一次调用里混着用了。再加上跨工具的「上下文环流」和Google Maps原生接入，Agent开发的编排噩梦正在终结。
在AI编程智能体快速演进的今天，一个核心痛点愈发凸显：AI能写代码，却难以理解代码。更深层的问题是：即便模型能力再强，若缺乏结构化的工程约束与上下文支撑，智能体也难以稳定、可预期地完成真实工程任务。
十亿参数单细胞基础模型scLong不再只看少数高表达基因，而是把一个细胞里接近 2.8 万个基因 都纳入建模，并结合 Gene Ontology（GO） 的生物学知识，去理解更完整的基因上下文。