AI资讯新闻榜单内容搜索-上下文限制

关键词: AI新闻,Claude Code,AI编程,人工智能

过去一年，编程 Agent 的能力大幅提升，软件工程师对它们的要求也比以往任何时候都高，但上下文窗口的大小却基本停滞不前——一年前，一百万个 token 大致就是最先进的水平，如今依然如此。随着我们逐渐进入 Agent 日常处理 Monorepo（单体仓库）级任务的世界，将越来越多的信息塞进模型那固定的上下文限制中，这种需求已经变成了一项实实在在的全职工程任务。

关键词: AI,模型训练,TIM,TIMRUN

大模型再强，也躲不过上下文限制的「蕉绿」！MIT等团队推出的一套组合拳——TIM和TIMRUN，轻松突破token天花板，让8b小模型也能实现大杀四方。

关键词: Llama-2,羊驼大模型,上下文限制,CEPE,并行编码上下文扩展

陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。

关键词: 大模型,上下文限制,AI,LLM

作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。