一种基于因果掩码的视频会议多模态数据对齐方法、装置、设备及介质

本申请公开了一种基于因果掩码的视频会议多模态数据对齐方法、装置、设备及介质，涉及计算机技术领域，包括：对在线视频会议中的原始音频、原始视频流和原始文档进行特征提取与融合，基于得到的多模态融合特征进行时序划分得到三重时序窗口；确定与三重时序窗口对应的初始权重值，利用预设约束条件对初始权重值进行归一化调整得到调整后权重；利用发言方的发言标识对预设时序偏移矩阵进行索引，基于索引结果对三重时序窗口的原始时序进行校正，并利用预设因果掩码机制确定与三重时序窗口对应的目标注意力结果，基于所述目标注意力结果对多模态融合特征进行多层级对齐融合得到多模态对齐结果。提高多模态对齐技术的精度并避免未来信息泄露。