真·开外挂！MIT新研究：架构0改动，让大模型解锁千万级上下文
真·开外挂！MIT新研究：架构0改动，让大模型解锁千万级上下文让大模型轻松处理比自身上下文窗口长两个数量级的超长文本！
来自主题: AI技术研报
5417 点击 2026-01-19 16:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
让大模型轻松处理比自身上下文窗口长两个数量级的超长文本！
近日，清华大学与星尘智能、港大、MIT 联合提出基于对比学习的隐空间动作预训练（Contrastive Latent Action Pretraining, CLAP）框架。这个框架能够将视频中提纯的运动空间与机器人的动作空间进行对齐，也就是说，机器人能够直接从视频中学习技能！
MIT天才博士一毕业，火速加盟OpenAI前CTO初创！最近，肖光烜（Guangxuan Xiao）在社交媒体官宣，刚刚完成了MIT博士学位。下一步，他将加入Thinking Machines，专注于大模型预训练的工作。
过去一段时间，我们介绍了很多小白入门级的agent框架，也介绍了包括langchain在内的很多专业级agent搭建框架。
你有没有发现，你让AI读一篇长文章，结果它读着读着就忘了前面的内容？ 你让它处理一份超长的文档，结果它给出来的答案，牛头不对马嘴？ 这个现象，学术界有个专门的名词，叫做上下文腐化。 这也是目前AI的通病：大模型的记忆力太差了，文章越长，模型越傻！
新年伊始，MIT CSAIL 的一纸论文在学术圈引发了不小的讨论。Alex L． Zhang 、 Tim Kraska 与 Omar Khattab 三位研究者在 arXiv 上发布了一篇题为《Recursive Language Models》的论文，提出了所谓“递归语言模型”（Recursive Language Models，简称 RLM）的推理策略。
2025年的最后一天， MIT CSAIL提交了一份具有分量的工作。当整个业界都在疯狂卷模型上下文窗口（Context Window），试图将窗口拉长到100万甚至1000万token时，这篇论文却冷静地指出了一个被忽视的真相：这就好比试图通过背诵整本百科全书来回答一个复杂问题，既昂贵又低效。
上个月我从旧金山去纽约参加了 AI Engineer Summit，这是 AI Engineering 里每年最值得关注的硬核会议，也是一年一度头部 AI 工程师们的“聚会”。 它采用邀请审核制
最近，来自Google Research、Google DeepMind和MIT的研究者们联合发表了一项重磅研究。结果显示：盲目增加智能体数量，在很多时候不仅没用，反而会让系统变笨、变慢、变贵。
在过去十年中，AI 的进步主要由两股紧密相关的力量推动：迅速增长的计算预算，以及算法创新。