摘要
一种基于情感冲突自适应的多模态情感分析方法,包括如下步骤:构建单模态网络,获取单模态特征和用于表示跨模态情感一致性高低的情感冲突强度系数;单模态特征包括时序特征和全局特征;构建多模态网络;多模态网络包括用于解决情感一致问题的简单模块、用于解决情感冲突问题的困难模块和用于特征融合的对齐模块;对齐模块利用注意力机制将时序特征作为输入,输出融合特征;简单模块将融合特征和全局特征作为输入,输出简易模块预测输出;困难模块将融合特征和全局特征作为输入,输出困难模块预测输出;根据情感冲突强度系数自适应融合简单模块预测和困难模块预测,输出最终预测值;训练单模态网络和多模态网络,优化参数。