一种基于分词器分类与适用性分析的视觉令牌压缩方法

本发明公开了一种基于分词器分类与适用性分析的视觉令牌压缩方法，涉及图像识别技术领域，主要包括步骤：以统一强度的压缩操作算子与一致的性能指标要求建立统一压缩评测协议下面向视觉分词器的评测框架；根据视觉分词器对视觉信息的处理流程将压缩位置进行阶段划分；应用评测框架，针对各类分词器中的每一类，分别在所有压缩位置插入压缩操作，并量化每一组合情况下的性能指标值；根据性能指标值，分析各类分词器在不同压缩位置的适用规律；基于适用规律，确定不同类型视觉分词器所适用的压缩位置，并据此执行基于适用规律优化的视觉令牌压缩策略。本发明提供了一个无需训练、即插即用、兼具高效性与通用性的视觉令牌压缩解决方案。