基于视听觉协同的情感识别方法及系统

本申请涉及情感识别技术领域，其公开了一种基于视听觉协同的情感识别方法及系统，其获取原始视频流和原始音频流，并为视觉模态和听觉模态引入显式的不确定性量化机制，在提取特征的同时，并行地生成评估其可靠性的不确定性序列。进而，以此不确定性序列为核心引导信号，对跨模态交叉注意力融合过程进行动态调制。该机制使得模型能够自适应地抑制不可靠模态的贡献，侧重于高质量信号的交互，从而有效抑制噪声传播，实现鲁棒的多模态信息互补，最终提升情感识别的准确性。