TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
LLM训练速度还可以再飙升20倍！英伟达团队祭出全新架构归一化Transformer（nGPT），上下文越长，训练速度越快，还能维持原有精度。
近日，来自谷歌DeepMind的研究人员提出了Michelangelo，「用米开朗基罗的观点」来测量任意上下文长度的基础模型性能。
RAG（Retrieval-Augmented Generation）是一种结合信息检索与文本生成的技术，旨在提高大型语言模型（LLM）在回答复杂查询时的表现。它通过检索相关的上下文信息来增强生成答案的质量和准确性。解读RAG测评：关键指标与应用分析
十一假期第1天， OpenAI一年一度的开发者大会又来了惹！今年的开发者大会分成三部分分别在美国、英国、新加坡三个地点举办，刚刚结束的是第一场。
去年，OpenAI在旧金山举办了一场引发业界轰动的开发者大会（DevDay 2023），推出了一系列新产品和工具，包括支持128K上下文的GPT-4 Turbo，API价格下调，新的Assistants API，具备视觉功能的GPT-4 Turbo，DALL·E 3 API，以及大幅改进的JSON模型，还有命运多舛的GPTs和类App Store平台GPT Store。
曾几何时，LLM还是憨憨的。 脑子里的知识比较混乱，同时上下文窗口长度也有限。 检索增强生成（RAG）的出现在很大程度上提升了模型的性能。
扩展多模态大语言模型（MLLMs）的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要。这涉及一系列系统性的优化，包括模型架构、数据构建和训练策略，尤其要解决诸如随着图像增多性能下降以及高计算成本等挑战。
上下文学习(In-Context Learning， ICL)是指LLMs能够仅通过提示中给出的少量样例，就迅速掌握并执行新任务的能力。这种“超能力”让LLMs表现得像是一个"万能学习者"，能够在各种场景下快速适应并产生高质量输出。然而，关于ICL的内部机制，学界一直存在争议。
Anthropic推出Claude企业版，集成GitHub和500K上下文长度。
