结合逻辑常识与深度哈希的多模态数据检索方法及系统

本发明涉及结合逻辑常识与深度哈希的多模态数据检索方法及系统，方法包括：获取图文数据训练集；进行图文局部特征提取，得到图像局部特征信息和文本嵌入特征信息；进行表征增强处理，得到图像增强特征信息和文本增强特征信息；融合图文局部特征得到共享语义信息和统一哈希码；根据预设外部常识知识得到逻辑常识知识，将逻辑常识知识嵌入于模态表征学习中，得到常识辅助概念表征信息；根据常识辅助概念表征信息和共享语义信息对图像增强特征信息和文本增强特征信息进行表征学习，得到图像知识表征信息和文本知识表征信息；结合统一哈希码得到图像哈希码和文本哈希码。增强了视觉语言内容的理解能力，且缩小了图文数据间的语义鸿沟。