重塑记忆架构：LLM正在安装「操作系统」
重塑记忆架构：LLM正在安装「操作系统」超长上下文窗口的大模型也会经常「失忆」，「记忆」也是需要管理的。
来自主题: AI技术研报
7144 点击 2025-07-16 16:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
超长上下文窗口的大模型也会经常「失忆」，「记忆」也是需要管理的。
大模型记忆管理和优化框架是当前各大厂商争相优化的热点方向，MemOS 相比现有 OpenAI 的全局记忆在大模型记忆评测集上呈现出显著的提升，平均准确性提升超过 38.97%，Tokens 的开销进一步降低 60.95%，一举登顶记忆管理的 SOTA 框架，特别是在考验框架时序建模与检索能力的时序推理任务上，提升比例更是达到了 159%，相当震撼！
随着大模型应用场景的不断拓展，其在处理长期对话时逐渐暴露出的记忆局限性日益凸显，主要表现为固定长度上下文窗口导致的“健忘”问题。
最近，来自约翰・霍普金斯大学与中国人民大学的团队设计了三套实验，专门把关键线索藏在上下文之外，逼模型「凭记忆」作答，从而检验它们是否真的在脑海里保留了信息。
该项目来自百家 AI，是北京邮电大学白婷副教授所指导的研究小组， 团队致力于为硅基人类倾力打造情感饱满、记忆超凡的智慧大脑。
GPT 系列模型的记忆容量约为每个参数 3.6 比特。
预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。