基于多模态蒸馏引导的WSI长尾数据识别方法、装置及其可读存储介质
申请号:CN202511292458
申请日期:2025-09-11
公开号:CN120783338A
公开日期:2025-10-14
类型:发明专利
摘要
本发明提出了一种基于多模态蒸馏引导的WSI长尾数据识别方法、装置及其可读存储介质,针对数字病理全图图像(WSI)在弱监督多实例学习中因长尾分布导致的尾部类别识别准确率低问题,本发明通过双分支集成多实例学习、文本特征提取与提示生成及多模态蒸馏优化实现性能提升。双分支分别采用均衡分布与原始长尾分布数据训练,共享聚合器并约束预测一致性;生成含语义提示的文本特征作为监督信号,通过图文对比损失实现语义对齐;设计软硬标签协同的蒸馏损失,结合一致性损失构建总损失函数。实验表明,该算法能显著提升尾部类别及整体识别性能,通用性强,可适配多种多实例学习方法,为病理图像智能分析提供可靠技术支撑。
技术关键词
数据识别方法
多模态
蒸馏
多实例
标签
文本编码器
分支
语义特征
可读存储介质
图像智能分析
数据识别装置
图文
分类器
损失函数优化
图像块特征
推理架构
教师