摘要
本发明公开了一种多模态数据处理模型的训练方法，包括：获取第一训练样本数据集，所述第一训练样本数据集由若干音频数据组成；通过所述第一训练样本数据集训练第一数据处理模型，获得预训练的第一数据处理模型；获取第二训练样本数据集，所述第二训练样本数据集包括：音频数据、文本数据、音频与文本混合数据；基于所述预训练的第一数据处理模型构建所述多模态数据处理模型，通过所述第二训练样本数据集对所述多模态数据处理模型进行端到端的训练，获得目标多模态数据处理模型。通过应用本方案，可以实现端到端的多模态数据处理模型的训练，避免现有技术中通过多个独立模块组合成的模型在处理数据过程中错误累积的问题。
