关键词: AI,RAG,长上下文,检索增强,OP-RAG

曾几何时，LLM还是憨憨的。 脑子里的知识比较混乱，同时上下文窗口长度也有限。 检索增强生成（RAG）的出现在很大程度上提升了模型的性能。

关键词: 月之暗面,Kimi,国产大模型,超长上下文

半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。

关键词: NLP,清华NLP,InfLLM,超长上下文,token,模型训练

挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。

关键词: Gemini 1.5,谷歌AI,多模态AI,超长上下文

这两天，几乎整个AI圈的目光都被OpenAI发布Sora模型的新闻吸引了去。其实还有件事也值得关注，那就是Google继上周官宣Gemini 1.0 Ultra 后，火速推出下一代人工智能模型Gemini 1.5。