近期，DeepSeek-OCR 凭借其创新的「视觉文本压缩」（Vision-Text Compression, VTC）范式引发了技术圈的高度关注。为了解答这一疑问，来自中科院自动化所、中国科学院香港创新研究院等机构的研究团队推出了首个专门针对视觉 - 文本压缩范式的基准测试 ——VTCBench。
DeepSeek-OCR的视觉文本压缩（VTC）技术通过将文本编码为视觉Token，实现高达10倍的压缩率，大幅降低大模型处理长文本的成本。但是，视觉语言模型能否理解压缩后的高密度信息？中科院自动化所等推出VTCBench基准测试，评估模型在视觉空间中的认知极限，包括信息检索、关联推理和长期记忆三大任务。
来自香港科技大学、腾讯西雅图AI Lab、爱丁堡大学、Miniml.AI、英伟达的研究者联合提出了MMLongBench，旨在全面评估多模态模型的长文本理解能力。
2025 年 2 月发布的 NoLiMA 是一种大语言模型（LLM）长文本理解能力评估方法。不同于传统“大海捞针”（Needle-in-a-Haystack, NIAH）测试依赖关键词匹配的做法，它最大的特点是 通过精心设计问题和关键信息，迫使模型进行深层语义理解和推理，才能从长文本中找到答案。
LLM一个突出的挑战是如何有效处理和理解长文本。就像下图所示，准确率会随着上下文长度显著下降，那么究竟应该怎样提升LLM对长文本理解的准确率呢？
在长文本理解能力这块，竟然没有一个大模型及格！
一直以来，我都习惯于用各种各样的外部工具辅助自己的科研全过程。从论文阅读、文献查找、公式理解，再到论文润色，AI工具都能在不同程度地帮上我。
挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。
