摘要
本发明提出一种消化系统疾病多模态信息的诊疗系统的建立方法，S1、采集多模态信息进行标注和预处理；S2、提取特征向量并根据标注的信息对多模态信息嵌入标签；S3、将特征向量与标签进行拼接映射至统一维度得到增强特征向量；S4、将增强特征向量融合形成多模态特征矩阵，对多模态特征矩阵进行线性映射，加权聚合后得到全局融合向量，归集生成融合向量序列；S5、增强全局融合向量序列的时序信息，强化部位特异性特征的空间关联性的空间信息，交互融合得到时空联合特征；S6、对疾病阶段或具体病理类型进行分类预测，并输出诊断结果；S7、将诊断结果与医学知识图谱实现语义关联，共享数据至线上健康智慧平台，为临床医生提供个性化决策依据。
