摘要
本发明公开了一种多模态行人检测方法,所述方法包括:成像质量感知模块,用于感知可见光图像和红外图像不同区域的成像质量差异,挖掘多模态图像的互补特性;多模态特征融合模块,以归一化后的成像质量空间分布图指导可见光‑红外多模态图像的特征融合,获得多模态融合特征表示;关键区域引导的特征增强模块,通过预测小尺度行人所在的关键区域,并对关键区域进行特征增强,获得更具判别性的融合特征表示;将增强后的融合特征送入检测头,得到行人预测结果。本发明获得更为全面的可见光‑红外多模态特征表示,从而提升行人检测的准确性。