今年3月,DeepSeek迅速席卷全国医疗机构。
据不完全统计,短短一个月内全国已经有 超300家 医院完成DeepSeek的本地部署,遍布北京、上海、安徽、四川、广东、河北、湖南、江苏等二十多个省市和自治区。
应用场景上,DeepSeek也迅速落地到了患者服务、科研、诊疗、办公、管理等各个方面,足以见得医疗大模型的火爆。
伴随着当AI迅速部署至大量基层医院时,也可能为整个医疗系统带来隐患。
近期,来自清华的专家团队共同撰写《DeepSeek 在中国医院系统中的“低成本”应用:太快,太早?》的文章,发布在医学顶刊JAMA(美国医学会杂志)上。
文章由清华大学副教务长、医学院院长黄天荫教授领衔,联合清华大学医学院曾典博士、秦义明博士,以及上海交通大学计算机科学与工程系盛斌教授共同撰写。
该文章的核心观点在于:DeepSeek的快速、无监管的采用已超出中国的整体监管监督和治理框架,造成了监管的滞后性。
采纳新技术的同时,我们也需要提升治理手段 ,让AI真正为人类健康福祉做出贡献。
DeepSeek爆火的起始点在于:R1在逻辑推理任务上的性能显著提升,到2025年3月,全球下载量已超过1.1亿次。
而作为当前国内最强开源模型,DeepSeek不用医院方面承担昂贵的训练成本,也有益于隐私数据保护。
按照国家规定,所有患者诊疗数据必须在内网闭环处理,禁止原始数据跨物理区域传输。
这使得DeepSeek的私有化部署方案成为医疗机构的首选,减少数据在传输和存储过程中的风险,确保数据的安全性。
此外,进行本地化部署后,医院能够利用本地数据进行二次开发。多家医院正在探索深度对接医院临床信息系统,充分激活海量诊疗数据,提升DeepSeek回答医疗问题的准确性。
短短1个月内,DeepSeek迅速席卷医疗系统。截至3月9日,有超过300家医院采用私有、本地署DeepSeek。
这些医院试图将AI集成到实际的临床和医院相关任务中,包括临床诊断、患者教育、科学研究、医院管理系统等。关于AI进医院的各类文章和搜索量也暴涨。
图:关于DeepSeek接入医院话题的搜索量
除开上述优势外,上百家医院紧急部署DeepSeek的背后,是否还有其他原因?
对于这一现象,文中指出,由于Deepseek被部署进入医院被媒体不断放大,也给不少医院施加了技术压力,其他医院只好纷纷跟进以避免技术落后。
然而,这种快速、不受监管的采用已经超过了中国的整体监管和监督框架,可能会引发了种种问题。
DeepSeek的快速普及缺乏相应的监管措施,这就像一辆高速行驶却没有刹车的汽车,充满了不确定性。医院在引入DeepSeek时,可能并未充分评估其临床安全性和有效性。
医院在实施前是否正确评估了临床安全性和有效性?是否有标准化的框架来评估这些模型是否在不同临床场景中实现其承诺的好处?
没有统一的标准来衡量这些模型在不同临床场景中的实际表现,这就像是在黑暗中摸索前行,随时可能陷入危险的境地。
临床安全性和有效性评估应该是DeepSeek在医疗系统应用中最受关注的问题。
尽管DeepSeek推理能力强大,但Deepseek因其生成幻觉性但事实错误的输出的倾向而引起了广泛关注。它有时会产生所谓的“幻觉”,即生成看似合理却与事实不符的输出结果。
而这些生成的文章可能会危害患者和医生。一方面,患者可能会误解这些AI生成的医疗信息,从而对自己的治疗方案产生怀疑。
另一方面,部分医生可能对DeepSeek产生过度依赖,不加批判地接受其输出结果,从而引发诊断错误或治疗偏差。
而那些更加谨慎的医生则面临着巨大的认知负担,他们需要在有限的时间内,仔细验证AI生成的结论与现有的临床证据是否相符,在效率与准确性之间进行艰难的权衡。
尽管私有本地部署被认为比基于云的模型更具安全性,但这并不意味着数据就绝对安全。
实际上,这种部署方式将数据安全的责任转移到了各个医疗机构身上,而许多医院可能并没有足够的网络安全基础设施和专业人员来应对潜在的威胁。
在一个人口众多、医疗资源分布不均的国家,这种数据安全和隐私问题可能会对患者的权益造成严重的侵害。
当前,DeepSeek迅速融入中国医疗保健系统,其速度似乎是过快了。
文章的落脚点在于,由于中国医疗AI正在以前所未有的速度进行创新,需要行业和监管主动制定策略,确保医疗AI的安全落地与可持续发展。
首先,建立完善的评估框架至关重要。这需要AI开发者、医生、医疗专业人员以及政策制定者共同努力,制定出科学、合理的评估标准和方法。
例如,文章呼吁建立多维度的“技术-伦理-法律”协同框架,提升AI审查和风险管理能力。
在法律和行业共识上,可以参考欧盟TRAIN倡议、美国HHS战略计划等国际经验。这些框架应该能够全面衡量DeepSeek等模型在不同医疗场景中的安全性和有效性,为医疗机构提供明确的指导。
其次,加强监管力度是保障医疗安全的重要手段。监管部门需要及时更新和完善相关政策法规,以适应AI技术的快速发展。
同时,加强对医疗机构的监督检查,确保它们在使用DeepSeek等AI技术时,严格遵守相关规定,切实保护患者的权益。
此外,提升医生和患者的AI素养也不可或缺。医生需要接受系统的培训,了解AI技术的优势和局限性,学会如何与AI协作,而不是被AI所左右。
同时,患者也应该得到正确的引导,认识到AI在医疗中的辅助地位,避免对AI产生过度的依赖和误解。
最后,推动技术的持续改进。AI开发者应该不断优化模型的性能,降低其产生幻觉和错误的风险。
只有在创新与安全之间找到平衡,我们才能真正实现AI技术在医疗领域的巨大潜力,为患者带来更好的医疗服务和体验。
文章来自微信公众号 “ 智药局 ”,作者 王苏