一种基于模态融合与空间位置编码的多模态情感分析方法

本发明涉及一种基于模态融合与空间位置编码的多模态情感分析方法，属于自然语言处理领域。该方法为：1)对原始的数据样本进行处理，提取出文本模态、语音模态、视频模态；2)构建空间位置编码模块降低位置特征信息损失；3)设计融合嵌入模块，以文本作为基本模态同语音和视频模态进行融合；4)设计情感分类器和损失函数，损失函数用于模型训练参数更新；5)通过与多种不同方法进行对比，验证所提方法的有效性。本发明专利能够解决现有融合方法缺乏保留模态关键特征的能力以及忽略位置特征信息的问题，增加多模态情感分析模型的泛化能力。