多模态指令识别方法、装置、电子设备及存储介质

本申请实施例涉及一种多模态指令识别方法、装置、电子设备及存储介质，上述方法包括：获取车辆上的感应设备采集的至少一种感应信息，并获取车辆当前的车辆状态信息；利用感应信息编码器，对至少一种感应信息进行特征编码，得到感应模态特征数据；利用车辆状态编码器，对车辆状态信息进行特征编码，得到车辆状态模态特征数据；利用多模态特征适配器，对感应模态特征数据和车辆状态模态特征数据进行融合，得到融合特征数据；利用指令识别网络，对融合特征数据进行识别，得到用于控制车辆的指令信息。本申请实施例实现了端到端地进行多模态信息识别，综合车辆状态和感应信息，可以更精确地识别用户的指令意图，且方案的兼容性和可扩展性较强。