摘要
本发明公开了一种基于多模态数据的AI智能体行为预测方法,具体涉及多模态数据处理领域,包括S1:智能体数据采集区域确定、S2:获取智能体多模态数据、S3:多模态数据处理、S4:多模态数据编码、S5:多模态数据融合以及S6:智能体行为预测。本发明融合视觉、加速度、语音等多模态数据,克服了单一数据在描述智能体行为时的局限,从多个维度获取信息,大幅提升行为预测的准确性,通过注意力机制与图卷积网络协同工作,深入挖掘不同模态数据间的潜在关系,精准把握其中的内在联系,为预测提供更有力的支撑,此外,对多模态数据进行针对性预处理,增强了模型对复杂场景的适应性,进而保障预测在不同场景的稳定性。