重塑记忆架构：LLM正在安装「操作系统」
重塑记忆架构：LLM正在安装「操作系统」超长上下文窗口的大模型也会经常「失忆」，「记忆」也是需要管理的。
来自主题: AI技术研报
7232 点击 2025-07-16 16:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
超长上下文窗口的大模型也会经常「失忆」，「记忆」也是需要管理的。
自 Stable Diffusion、Flux 等扩散模型 (Diffusion models) 席卷图像生成领域以来，文本到图像的生成技术取得了长足进步。但它们往往只能根据精确的文字或图片提示作图，缺乏真正读懂图像与文本、在多模 态上下文中推理并创作的能力。能否让模型像人类一样真正读懂图像与文本、完成多模态推理与创作，一直是学术界和工业界关注的热门问题。
在上一篇关于子模优化与多样化查询的文章发表后，我们收到了来自圈内很多积极的反馈，希望我们能多聊聊子模性（submodularity）和子模优化，尤其是在信息检索和 Agentic Search 场景下的更多应用。
ChatGPT的对话流畅性、Gemini的多模态能力、DeepSeek的长上下文分析……
今天凌晨，全球著名大模型开放平台Hugging Face开源了，顶级小参数模型SmolLM3。
在多模态大语言模型（MLLMs）应用日益多元化的今天，对模型深度理解和分析人类意图的需求愈发迫切。尽管强化学习（RL）在增强大语言模型（LLMs）的推理能力方面已展现出巨大潜力，但将其有效应用于复杂的多模态数据和格式仍面临诸多挑战。
就像是播放音乐，Prompt Engineering是在调音响的音量，那Context Engineering就是在设计整个音响系统，从音源、功放、音箱到房间声学，每个环节都要精心设计。Context Engineering本质上是设计和优化AI模型整个上下文窗口的工程学科。这不只是一个技术升级，更像是思维模式的根本转变。
继提示工程之后，「上下文工程」又红了！这一概念深得Karpathy等硅谷大佬的喜欢，堪称「全新的氛围编程」。而智能体成败的关键，不在于精湛的代码，而是上下文工程。
最近「上下文工程」有多火？Andrej Karpathy 为其打 Call，Phil Schmid 介绍上下文工程的文章成为 Hacker News 榜首，还登上了知乎热搜榜。
虽然旋转位置编码（RoPE）及其变体因其长上下文处理能力而被广泛采用，但将一维 RoPE 扩展到具有复杂时空结构的视频领域仍然是一个悬而未决的挑战。