长文本能力对语言模型（LM，Language Model）尤为重要，试想，如果 LM 可以处理无限长度的输入文本，我们可以预先把所有参考资料都喂给 LM，或许 LM 在应对人类的提问时就会变得无所不能。
Nemotron-H模型混合了Transformer和Mamba架构，使长文本推理速度提升3倍，同时还能保持高性能，开源版本包括8B和56B尺寸。训练过程采用FP8训练和压缩技术，进一步提高了20%推理速度
2025年4月16日，Cohere 发布了其最新一代多模态搜索模型 Embed 4，在多模态数据处理、长文本建模和跨模态检索能力上实现了显著提升，进一步巩固了其在企业级 AI 搜索领域的领先地位。
Transformer架构主导着生成式AI浪潮的当下，但它并非十全十美，也并非没有改写者。
长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。
LLM自身有望在无限长token下检索信息！无需训练，在检索任务「大海捞针」（Needle-in-a-Haystack）测试中，新方法InfiniRetri让有效上下文token长度从32K扩展至1000+K，让7B模型比肩72B模型。
2025 年 2 月发布的 NoLiMA 是一种大语言模型（LLM）长文本理解能力评估方法。不同于传统“大海捞针”（Needle-in-a-Haystack, NIAH）测试依赖关键词匹配的做法，它最大的特点是 通过精心设计问题和关键信息，迫使模型进行深层语义理解和推理，才能从长文本中找到答案。
在 ChatGPT 爆火两年多的时间里，大语言模型的上下文窗口长度基准线被拉升，以此为基础所构建的长 CoT 推理、多 Agent 协作等类型的高级应用也逐渐增多。
大语言模型长序列文本生成效率新突破——生成10万Token的文本，传统自回归模型需要近5个小时，现在仅需90分钟！
AI21Labs 近日发布了其最新的 Jamba1.6系列大型语言模型，这款模型被称为当前市场上最强大、最高效的长文本处理模型。与传统的 Transformer 模型相比，Jamba 模型在处理长上下文时展现出了更高的速度和质量，其推理速度比同类模型快了2.5倍，标志着一种新的技术突破。
