Cell | 想做多模态和可解释性一定要看，这篇论文不仅方法可圈可点，图也绘制的非常漂亮！

Cell Reports Medicine近期的研究结合CT和病理图像，提出一种可解释的人工智能框架用于预测胃癌患者新辅助化疗的疗效。一方面，该研究的放射学模块和病理学模块均可以单独提取出来用于构建各位读者自己的研究方案。另一方面，该研究绘制的图不仅漂亮而且非常丰富，各个环节都涵盖在内，各位读者在自己的研究中也可以借鉴。该研究相关论文和代码的获取方式请看文末。

引言

新辅助化疗是指在手术前对肿瘤患者进行化疗，以缩小肿瘤体积、降低手术难度、减少局部复发率并提高生存率的治疗方法。它在胃癌、乳腺癌等实体瘤的综合治疗中具有重要地位。然而，由于个体患者对化疗的反应存在显著差异，部分患者可能面临药物副作用及治疗延误的风险。同时，目前临床上主要依赖经验和常规影像指标评估疗效，缺乏精准、个性化的预测工具，从而导致治疗方案的制定和实施存在局限性。

人工智能，特别是深度学习技术，为新辅助化疗的个性化预测和精准医疗提供了新的可能。通过多模态数据整合分析（如CT影像、病理切片和基因组信息），人工智能模型能够提取复杂数据中隐藏的特征，实现化疗疗效的精准预测。此外，人工智能还可辅助发现与化疗反应相关的生物学机制，为制定更优化的治疗策略提供支持。

数据及方法

Cell Reports Medicine的这项研究共使用到2003名胃癌患者的数据，主要包含放射学模块，病理学模块以及放射病理融合模型三个部分，并采用多种可解性手段揭示了疗效预测模型的内在逻辑。

放射学模块基于深度残差神经网络（ResNet）实现。该研究首先使用深度残差神经网络（ResNet-34）分别从原发病灶和淋巴结中提取了1000个特征。然后将提取的特征拼接并通过全连接层进行降维生成一个256维的特征向量。

病理学模块基于图注意力网络（GAT）实现。受肿瘤切片空间特征的启发，该研究将病理切片图像转换为空间连接的图结构，其中每个图像patch代表一个图节点。该研究利用预训练的ResNet-18提取节点特征作为输入，采用图注意力网络学习每条边的注意力分数，同样生成一个256维的特征向量。

放射病理融合模型基于放射学模型和病理模型得到的特征向量，采用监督对比学习方法对放射学和病理学特征表示进行对齐，帮助模型有效获取来自两种图像模态的特征表示，并作为输入传递给全连接层以进行新辅助化疗响应概率的预测。\

在该研究中，图注意力网络中的注意力展示了不同病理区域（如肿瘤或基质）在预测化疗反应过程中的权重，同时，该研究也采用SHAP值对放射病理融合模型中图像特征表示进行分析。

总结

该研究通过深度残差网络和图注意力网络分别提取放射影像和病理影像的高维特征，并采用监督对比学习进行跨模态特征对齐。一方面，该研究的放射学模块和病理学模块均可以单独提取出来用于构建各位读者自己的研究方案。另一方面，该研究绘制的图不仅漂亮而且非常丰富，各个环节都涵盖在内，各位读者在自己的研究中也可以借鉴。

文章来自微信公众号“云应智能”，作者“cloudinfer”