基于多模态数据的诊疗交互系统及方法

本发明公开了一种基于多模态数据的诊疗交互系统及方法，涉及人工智能技术领域，该方法包括：实时数据采集模块，用于采集实时多模态数据；基于映射关系构建意图识别模型；输入层用于接收实时多模态数据；数据处理层用于将实时多模态数据转换为时序一致的标准化数据；权重调整层用于生成标准化数据的动态置信度矩阵，基于动态置信度矩阵调整实时多模态数据中各个模态数据的融合权重；意图识别层用于基于各个模态数据的融合权重和映射关系得到用户当前意图；输出层用于输出用户当前意图；应急响应模块，用于基于用户当前意图生成对应的交互指令，有助于解决现有技术无法实现精准、动态地基于多模态数据识别用户意图并生成对应交互指令的问题。