基于双证据增强与图文相似度感知的多模态谣言检测方法

本发明提出一种基于双证据增强与图文相似度感知的多模态谣言检测方法，该方法包括：利用预训练语言模型和预训练视觉模型分别提取待检测帖子的文本语义特征和图像视觉特征；利用ELA挖掘图像中的潜在篡改痕迹；对帖子图片通过反向搜索得到相关新闻报道，利用帖子文本进行搜索并筛选相关图片，并通过交叉注意力机制实现证据与待验证帖子的交互对齐；利用EGTR算法和Flan‑T5模型，分别将图像和文本转换为视觉场景图和文本场景图；通过知识蒸馏提取相关背景知识；通过改进的图注意力网络对场景图进行学习。本发明设计了一种基于门控神经网络的特征分层融合方法，实现特征的自适应融合，并将融合后的特征输入多层感知机进行结果分类。