12月15日,上海交通大学医学院附属瑞金医院正式发布瑞金医学大模型矩阵,涵盖RJH-Base基座大模型、RJH-Med应用大模型,以及多模态大模型,并携手上海人工智能实验室、腾讯等建设可持续发展的医学大模型应用生态,实践以数据、知识、算法、模型为关键驱动的医学AI新范式。
拥有百年底蕴的瑞金医院,是国内首批国家公立医院高质量发展试点医院、现代医院管理制度试点医院,具备强大的医学专业积累、临床诊断能力、科研成果转化实力。同时,瑞金医院非常注重数字医学创新,在上海市政府的批准下上海市数字医学创新中心也依托瑞金医院成立,致力于深入推进医学数字化转型。中心成立以来已完成AI研发团队组建以及算力和数据平台搭建,具备国内领先的医学AI研发能力。最新发布的瑞金医学大模型矩阵,则是中心推动医疗健康高质量发展的重要举措。
本次瑞金医院发布的医学大模型矩阵,包括基于海量医学数据预训练加强的RJH-Base基座大模型,是瑞金医学大模型矩阵的基础。在此基础之上针对实际应用场景研发RJH-Med语言应用大模型,应用于电子病历生成,并与瑞金医院全生命周期健康管理中心合作健康报告生成、健康咨询对话等各种助医、惠民、科研场景。目前,这两个大模型已在瑞金医院落地应用。
上海市数字医学创新中心首席技术官黄飞跃介绍,瑞金医学大模型具有鲜明的医学及临床业务属性和应用特点,中心AI研发团队深入一线,基于实际场景和数据,与临床医生和产品专家密切沟通需求、定义问题和技术解决方案后研发而成,以真正解决实际应用痛点为第一要务。
在RJH-Med语言应用大模型研发中,本着优势互补的原则,上海市数字医学创新中心携手腾讯开展合作,共研医学知识图谱、医学语言大模型。目前,已建立的医学知识图谱已覆盖98%医学知识,具有285万医学实体、1250万医学关系,并经过3000万覆盖患者、医生、药企等场景及医疗流程的问答对话对大模型进行训练,具备专业、精准、兼顾患者关怀精神的医学交互能力。后续,腾讯具备千亿级参数的混元大模型,也将进一步助力瑞金医学大模型增强复杂语境下的逻辑推理以及任务执行能力,打造涵盖智能医疗问答、病历自动生成、医学百科查询、全生命周期健康管理等诸多应用,促进医学语言大模型的研究成果转化。
此外,瑞金医院还将与上海人工智能实验室、腾讯继续合作推出多模态大模型,逐步构建瑞金医学大模型产品矩阵。其中就包括与上海人工智能实验室-上海交大联合团队合作研发的“瑞金增强KAD多模态大模型”。以及自研的“胸部CT的AI多模态诊断模型”,能根据CT影像自动输出完整的影像所见和影像诊断。当天,瑞金医院还联合上海人工智能实验室发布了“浦医”2.0,在模型、数据、评测三大维度全线升级,正赋能影像诊断、数字病理建设、数字人虚拟手术瑞等五大智慧场景。
下一步,瑞金医院还将进一步推动医学大模型的研发与应用落地,在智慧服务、临床医疗、医院管理等全场景打造医学创新标杆,包括通过智能问答服务为居民提供连续、综合、有效、精准的一体化健康服务,进一步研究医学大模型在影像智能识别、临床试验等场景的应用,以及借助大数据及AI技术进一步支持医院运转效率提升和科研创新等等,为提高临床诊治水平、提升医疗服务水平、改善患者服务体验,形成切实可行的创新范式。
文章来自于微信公众号 “上海市数字医学创新中心”
【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,
“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。
项目地址:https://github.com/xszyou/Fay
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales