摘要
本发明提供一种赋予大语言模型多模态情感分析能力的方法及系统，涉及情感分析技术领域，该方法包括获取待测样本的文本、音频和视觉数据；对文本、音频和视觉数据分别进行特征提取，生成文本嵌入序列T、音频嵌入向量A和视觉嵌入向量V；将所述音频嵌入向量A和视觉嵌入向量V输入MSA适配器，依次通过特征对齐、特征融合及投影处理，生成伪令牌序列P；将所述伪令牌序列与文本嵌入序列及任务提示嵌入序列拼接为输入序列S，输入冻结参数的大语言模型进行情感预测。本发明提供的方法实现多模态数据与大语言模型的无缝衔接，既保留大语言模型泛化能力，又降低计算成本，为后续特征对齐、融合提供基础框架。
