搜索
LLM自身有望在无限长token下检索信息！无需训练，在检索任务「大海捞针」（Needle-in-a-Haystack）测试中，新方法InfiniRetri让有效上下文token长度从32K扩展至1000+K，让7B模型比肩72B模型。
这篇文章介绍了一个名为MemLong的模型，它通过使用外部检索器来增强长文本建模的能力。
长文本处理能力对LLM的重要性是显而易见的。在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k，然而今日，128k的上下文长度已经成为衡量模型技术先进性的重要标志之一。那你知道LLMs的长文本阅读能力如何评估吗？
4 月 26 日，科大讯飞发布讯飞星火大模型 V3.5 的功能上新，其中一个重点就是面向用户各种场景中高效获取信息需求，发布首个长文本、长图文、长语音的大模型，能够支持文档、图文资料、会议录音等各种信息来源的快速理解和学习，还能够结合各种行业场景知识给出专业、准确回答。
4 月 26 日，科大讯飞发布讯飞星火大模型 V3.5 的功能上新，其中一个重点就是面向用户各种场景中高效获取信息需求，发布首个长文本、长图文、长语音的大模型，能够支持文档、图文资料、会议录音等各种信息来源的快速理解和学习，还能够结合各种行业场景知识给出专业、准确回答。
2024年AI（人工智能）大模型行业的第一场竞争热潮，从长文本开始。
通过这项技术，能使transformer大模型在有限的计算资源 条件下，处理无限长度的输入。
大模型和 AI 数据库双剑合璧，成为大模型降本增效，大数据真正智能的制胜法宝
大模型长文本能力测试，又有新方法了！
CLIP长文本能力被解锁，图像检索任务表现显著提升！一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。