随着人工智能（AI）技术的飞速发展，特别是在生成式AI领域的突破，我们见证了许多新兴技术的诞生，它们正逐步改变着我们的生活和工作方式。

在医学领域，尤其是病理学这一关键分支，AI技术的应用也在不断深化。哈佛大学医学院的研究团队发明了一种名为PathChat的多模态生成式AI助手，它旨在为人类病理学提供全面的辅助与支持。相关研究成果已发表在《nature》杂志上。今天我们来介绍一下这篇文章“A Multimodal Generative AI Copilot for Human Pathology”。

什么是PathChat？

PathChat是一种专为人类病理学设计的多模态生成式AI助手。它通过结合先进的视觉编码器和大型语言模型，能够理解和处理来自病理学图像和自然语言指令的信息，从而提供精准的诊断建议和分析报告。这一技术的核心在于其多模态处理能力，即能够同时处理视觉和语言信息，使得AI助手能够更加全面地理解用户的查询和需求。

PathChat的研发背景

在计算病理学领域，虽然任务特定的预测模型和自监督视觉编码器取得了显著进展，但面向病理学的通用多模态AI助手的研究仍然有限。传统的AI模型往往只能处理单一的输入源（如仅图像或仅文本），而无法同时利用图像和文本信息来增强理解和推理能力。PathChat的研发正是为了解决这一难题，通过整合视觉和语言模型，打造出一个全面的AI助手。

技术原理

PathChat的构建基于以下几个关键步骤：

1. 视觉编码器：

首先，研究人员使用了一个专门为病理学设计的自监督视觉编码器（UNI编码器），该编码器能够从大量病理学图像中学习并提取关键特征。通过自监督学习，编码器能够在没有标签数据的情况下，从图像中学习到有用的表示。

2. 语言模型:

接下来，他们选择了一个预训练的大型语言模型（LLM），即Llama 2，该模型拥有130亿个参数，具备强大的自然语言处理能力。

3. 多模态融合：

为了将视觉编码器和语言模型连接起来，研究人员设计了一个多模态投影模块。这个模块能够将图像表示转换为语言模型能够理解的文本表示，从而实现视觉和语言的融合。

4. 模型训练:

最后，整个系统通过大量的视觉语言指令进行微调，这些指令由病理学图像和相应的自然语言描述组成。通过这些数据，模型学会了如何将图像中的信息与自然语言查询相匹配，并生成相应的回答。

PathChat的性能评估

为了验证PathChat的性能，研究人员进行了多项评估实验，包括多选题诊断测试和开放性问题回答测试。实验结果显示，PathChat在多选题诊断测试中取得了优异的表现，能够准确识别出不同组织来源和疾病模型的诊断结果。在开放性问题回答测试中，PathChat生成的回答更加准确、完整，且更符合病理学专家的偏好。

具体来说，研究人员构建了一个包含456,916条指令和999,202个问答对的数据集，用于训练和评估PathChat。在评估过程中，他们不仅与其他多模态视觉语言AI助手进行了比较，还与商业上可用的GPT4V进行了对比。结果显示，PathChat在多个评估指标上均优于其他模型，特别是在处理复杂病理学查询时表现出色。

潜在应用

PathChat作为一种多模态生成式AI助手，在病理学领域具有广泛的应用前景。以下是几个潜在的应用场景：

1. 临床决策支持:

PathChat可以辅助医生进行病理诊断，通过分析图像和查询信息，提供初步的诊断建议和进一步的检查建议。

2. 病理学研究:

在病理学研究中，PathChat可以自动化地分析大量病理学图像，提取形态特征，并帮助研究人员进行量化分析和解释。

3. 医学教育：

PathChat还可以作为医学教育工具，为医学生提供实时、准确的病理学指导，帮助他们更好地掌握病理学知识和技能。

4. 医疗资源均衡：

通过PathChat的广泛应用，可以缩小不同地区医疗资源之间的差距，提高医疗服务的可及性和质量。

挑战与展望

尽管PathChat在多项评估中取得了优异的成绩，但其在实际应用中仍面临一些挑战。例如，如何进一步提高模型的准确性和鲁棒性，以应对更加复杂和多样化的病理学查询；如何优化模型的训练过程，以提高训练效率和降低训练成本；以及如何确保模型在实际应用中的合法性和伦理性等。

结语

PathChat作为一种多模态生成式AI助手，在人类病理学领域的应用前景广阔。它不仅提高了病理诊断的准确性和效率，还为医学研究、教育和临床决策提供了有力的支持。随着技术的不断进步和完善，我们有理由相信PathChat将在未来发挥更加重要的作用，为人类健康事业做出更大的贡献。

莱博睿思作为CTC诊断领域的领跑者，同时也在开发AI识别与图像诊断结合的相关产品，相信在不久的将来就可以结合我们的CTC分选技术，真正意义上实现“分离-检测-诊断”的全流程服务。

文章来源于“苏州莱博睿思生物科技有限公司”