一个月前,不少人被这条新闻刷屏了——
国外一名4岁男孩怪病缠身,求医3年无果,17名医生都未能找出病因。
他的母亲不抱太大希望地求助ChatGPT,却被ChatGPT成功诊治出了病因——脊髓栓系综合征。
在国内外,这条新闻都引起了巨大反响——大模型,或许真的能帮我们看病?
其实,国外的头部科技公司们早已将触手伸向医疗行业,谷歌Med-PaLM 2等医疗LLM如雨后春笋般相继诞生。
回看国内,腾讯、百度、商汤等大厂也在医疗行业的大模型研发上动作频频。
在这个极速升温的赛道上,愈来愈多的人不禁提出疑问:在医疗领域,什么是真正好用、能落地的大模型应用场景?
10月16日,商汤发布升级版医疗健康大语言模型「大医」,为这一热门考题,交出了一份全新答卷。
大医基于千亿参数规模、拥有万亿token预训练语料的「商量」大模型,并由超200亿token的高质量医学知识数据进一步训练而成,其中包含海量医学教材、医学指南、临床路径、药品库、疾病库、体检报告等资料,及4000万真实病历、医患问答等数据。
值得一提的是,商汤还根据医疗健康产业链上下游机构的实际需求,给大医打造了内嵌13个预设场景的「场景集市」。
目前,商汤已经和郑州大学第一附属医院、上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院等机构展开了合作,并已面向医疗健康产业链上下游机构客户开放服务。
接下来,商汤科技还将探索与营养保健、健康管理等领域企业、机构的合作,为企业服务数智化转型提供强大驱动力,让技术与产业链紧密结合,为产业链高质量发展赋能。
大语言模型「当医生」,靠谱吗?
话不多说,咱们这就来实测一波。
最近,想必大家都听过不少ChatGPT「救命」的事迹,那么大医的表现又如何呢?
首先在场景预设提示词中,已经提前告诉它:「你是个耐心、高效且严谨的医疗AI,能够解答用户提出的医学问题。要通过追问,不要一次性给出所有诊断。」
大医记住这个设定后,就可以准备好「出诊」了。
就像看真实的医生一样,我们可以向它描述自己的病情:「我身上有一块咖啡色的印记,摸上去不太光滑,可能是什么疾病呢?」
大医回答,这种情况包括但不限于色素沉着、痣、皮肤癌等,然后要求患者进一步描述印记的大小、形状、边缘是否清晰、是否有痛感或瘙痒感。
根据描述,大医给出回答——这个印记可能是良性的皮肤色素沉着,但也不排除皮肤癌的可能性,并建议尽快就医。
上面这个人设,是一个循循善诱的医生。我们也可以修改提示词,给大医换一个「话不多」的人设,让它一次就给出所有情况。
这次,大医就会一下子把所有可能性说完了。
同时,大医也可以回答关于用药咨询的问题。
比如,服用布洛芬需要注意哪些?
可以看到,大医快速列出了详细的注意事项,还附上了更为细致的药品使用说明。
接下来,还可以进一步提问:「家里老人有高血压,每天都要吃降压药,请问他发烧可以吃布洛芬吗?」
对于每个问题,大医除了会给出非常直观的回复外,还会调用药品知识库插件,附上对应回答的权威依据。
许多患者就医过程漫长,多次复诊,病历十分复杂。
针对这种情况,大医可以快速地给出一份阶段性总结。
针对输出的内容,还可以根据需要来设定输出参考模板。
然后,一份阶段性小结就出炉啦。
在诊疗过程中,对患者的随访也是很重要的。
大医的智慧随访功能,能够支持自主编辑随访提问表单,以便收集需要的信息。
当对问题中的专业术语不理解时,可以随时向大医发问,大医都能耐心解答。比如在测试时,可以直接问它「什么是渗漏」。
随访结束后,大医立即给出了一份完整的信息总结。
从上面众多演示例子中,我们可以看到,商汤大医展现出强大的落地「可塑性」。
基于海量的医疗数据和复杂的训练调优,大医能够像一位真正的医生,耐心、专业地回答我们的问题。
在真实的医疗实践中,对LLM记忆能力、高精度专业知识、主观呈现偏好有着超高的要求。
而这次最难为可贵的是,为了满足这样的场景需求,研发团队推出了提示工程自定义、知识库插件、长程记忆存取、医学计算器等个性化功能。
提示工程,简而言之,就是让大模型能够更好地理解、回答问题。
对于通用模型来说,OpenAI最先开放了GPT-4自定义指令(Custom Instructions)功能。
甚至,Sam Altman本人直呼这个功能,我太爱了!
而这个功能最大的优势是,可以利用提示,定制模型的专属回应。
就拿ChatGPT来说,通过提供自己的职业、写作风格、兴趣、语气等信息,它就会根据这些信息生成更相关、更合适、更有趣的回答。
那么,再回到大医本身,通过自定义提示工程,用户就可以打造一个专属的医疗「场景助手」。
作为国内率先推出提示工程自定义功能的医疗健康大模型,大医支持在界面上调整提示工程,可以引导模型根据实际场景需要,智能调整回复内容。
例如前文提到的智能自诊场景下,可以设定回复内容的语言风格、医学解释详略程度、格式要求等等。智慧病历场景下,可以根据阶段性小结、出院小结等不同种类的临床模板总结患者就医经过,并支持修改临床模板样式。
同样,智慧随访场景也支持问题表单的自定义。
另外,最重要的一点是,医疗健康领域场景众多,比如图像诊断、临床决策、健康管理等等。
如果可以自定义提示工程,就能够激发大医潜力,高效适配更多细分场景,进而满足个性化需求。
这样,无需为单独应用场景开发模型,每一位医生通过保存自己拟定的提示词,就可以打造专属自己场景的「AI助手」。
这么做的好处是,让模型回答更贴近用户需求,获得精准回复,而且不用每次新建对话时重复设置偏好和信息提示词。
另一方面,真实医疗场景中,长病程的患者也占据不小的比例。
那么,当这部分患者再次复诊时,需要结合病史信息完成推理决策,由此对医疗LLM的记忆力提出了挑战。
在记忆能力上,一方面大医本身能够处理长医疗文本信息。
另一方面,它还支持接入外部记忆模块插件,作为补充存储空间,供交互时进行读写。
由此,大医具备更强的长病程管理能力,能够更好地贴合临床需求。
对于那些拥有高质量数据的机构,又该如何将自己的数据用起来?
为此,商汤提供了搭建专属知识库服务,可通过插件形式搭载到大医上。
目前,大医已经在「用药咨询」、「体检咨询」、「健康问答」三个场景中提供了插件功能,让每个功能回答有据可循。
这样,用户就能借助模型强大的检索和总结能力,打造紧密贴合自己需求的医疗大模型。
比如,可将准确的体检知识、健康管理科普、饮食运动处方、用药注意事项等知识构建为知识库,通过检索并理解相应知识,让大医给出准确的回答。
最后,根据实际需要,在大医可调用不同医学计算器插件,可以显著提升大模型的计算能力,在疾病预测、风险提醒等实际应用场景中发挥更大价值。
真正优秀的医疗健康大模型应当是适配多样化细分场景,满足个性化、差异化的需求。
首先,公有云版本可以让大部分用户体验到开箱即用的服务。
其次,为了便于各家机构在不同的应用场景下进行部署,商汤还研发了多个参数量从千亿到百亿级别不等的模型版本。
针对那些有私有化部署需求,但不具备规模化算力储备的客户,商汤创新性地提出了模型压缩技术,可大幅降低模型的硬件需求,有效降低部署门槛。
凭借出色的性能,大医已在多家医疗机构实现落地。
其中,商汤与郑州大学第一附属医院国家远程医疗中心合作,基于大医研发了行业前沿的「用药咨询大语言模型」。
商汤与郑州大学第一附属医院国家远程医疗中心合作,基于大医研发了行业前沿的用药咨询大语言模型
同时,商汤还与上海交通大学医学院附属瑞金医院合作,通过学习胃肠道专家的经验构建决策知识,并用真实病历进行训练模型。
大医可以根据输入的胃肠道肿瘤患者病历,提供准确的全身药物治疗(化疗、靶向、免疫治疗)与局部治疗(外科手术、放疗等)方案推荐。未来还将实现更多高性能专科辅助诊疗决策。
通过与上海交通大学医学院附属新华医院开展合作,计划利用大医赋能随访等患者服务场景,优化患者随访体验。
大医可高效嵌入医院信息化系统,能够实现与医院工作流的紧耦合,形成有效的业务系统,充分发挥大医对医院诊疗、管理、科研等工作模块的强大赋能作用。可以看到,大医的推出,对于医疗健康行业来说,具有里程碑的意义。
百模大战中,国内外许多公司都推出了自家的医疗大模型,比如谷歌著名的大模型Med-PaLM 2等等。
但若要深究,医疗大模型能否真正做到灵活可塑,大医的出现为行业提供了新标杆。
最重要的是,针对细分的医疗场景,大医不仅有内嵌的13个预设场景,甚至还可以打造专属场景助手。
另外,大医也是「产业级」大模型,能够助力医疗健康产业链上下游机构,根据实际需求打造专属的大模型。
同时,与众多合作伙伴一起,推动行业全方位数智化转型。
当前,医疗健康行业正处于转型的关键时期,大医恰好能够为医疗场景的智能升级提供了新的契机。
在规模化数据积累、模型迭代的基础上,未来,大医或将为医疗行业带来更多的创新与可能。
文章来自于微信公众号 “新智元”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0