许多新工具目前仍处于开发早期阶段或仅提供预览版。
智东西10月11日消息,当地时间周四,微软发表了一篇播客,宣布在其Microsoft Cloud for Healthcare中推出新的医疗保健数据功能和AI工具,包括通过Azure AI Studio中的新医疗保健AI模型、Microsoft Fabric中的医疗保健数据功能、Copilot Studio中的医疗保健AI agents服务以及AI驱动的护理工作流程解决方案。
这些工具旨在连接护理体验、增强团队协作、增强医疗工作者的能力以及帮助医疗保健组织更快地构建AI应用程序,并节省医疗工作者在行政任务上的时间,这是导致行业倦怠的主要原因之一。
许多解决方案目前仍处于开发早期阶段或仅提供预览版。在微软更广泛地推广这些工具之前,医疗保健组织将对这些工具进行测试和验证。微软拒绝透露这些新工具的价格。
据CNBC报道,微软通过不断推出新的医疗领域AI工具,努力确保其处在医疗保健AI领域的领导地位。去年10月,该公司在其Azure cloud和Fabric分析平台上推出了一系列健康功能。2021年,微软还以160亿美元收购了Nuance Communications,后者是医疗保健及相关行业提供语音转文本的AI工具。
微软健康与生命科学部门投资组合发展与孵化副总裁Mary Varghese Presti在预先录制的记者会上说道,“通过将AI融入医疗保健,我们的目标是减轻医务人员的工作压力,促进医疗团队的协作,提高全国医疗保健系统的整体效率。”
微软推出了一系列开源多模态AI模型,这些模型由微软与Providence和Paige等合作伙伴合作开发,能够分析除文本之外的数据类型,如医学影像、临床记录和基因组数据。据悉,大约80%的医院和医疗系统就诊都包括影像检查,因为医生通常依靠影像来帮助治疗患者,这些AI工具的推广使用可以帮助医生减少工作量和压力。
医疗保健组织还可以使用这些模型来构建新的应用程序和工具。通过使用这些高级模型作为基础,医疗保健组织可以快速构建、微调和部署针对其特定需求的AI解决方案,同时最大程度上减少从头开始构建多模态模型相关的大量计算和数据要求。
例如,数字化单个病理切片可能需要超过1GB的存储空间,因此许多现有的AI病理模型每次都只能训练小块切片。微软和Providence Health & Services构建了一个数字病理全切片基础模型,该模型在突变预测和癌症亚型分类方面有所改进,这一成果已发表在国际顶级学术期刊《自然》杂志上。
现在,医疗系统可以在此基础上进行改进,并根据自身需求进行微调。
“过去,获取病理学的全切片基础模型一直是一个挑战……而现在我们实际上已经能够做到了。”Providence首席战略和数字官Sara Vaezy在接受CNBC采访时谈道。“这确实是一种改变游戏规则的技术。”
这些模型可在Azure AI Studio的模型目录中找到,Azure AI Studio是微软的生成式AI开发中心。
▲微软Azure AI Studio的模型目录界面(图源:微软)
从历史上看,医疗保健数据由于其非结构化性质和现有数据管理系统的局限性而难以获问题限制了医疗保健组织全面了解患者体验和获取宝贵见解的能力。
根据Microsoft Fabric推出的医疗保健数据解决方案,医疗保健组织可以通过单一且统一的AI驱动平台改变用户访问、管理和处理数据的方式,从而克服上述问题。此外,Microsoft Purview的医疗保健安全应用程序模板(一套旨在帮助管理医疗保健数据的创新功能)现已公开预览。微软还将在Microsoft Fabric的医疗保健数据解决方案中公开预览5个新功能,包括:
1、对话数据集成:将对话数据(例如患者对话)从DAX Copilot发送到Fabric平台。通过将DAX Copilot音频文件、记录和临床笔记草稿发送到Fabric,客户和合作伙伴可以利用Azure和Fabric中的各种本地工具来分析这些数据或将其与其他数据相结合生成更全面的见解。
2、健康的社会决定因素(SDOH)公共数据集转换:提取、保存、协调和使用SDOH国家和国际公共数据集,使医疗保健组织能够识别风险和与健康相关的社会需求,帮助为患者和社区创造更公平的医疗保健服务。
3、美国医疗保险和医疗补助服务中心(CMS)索赔和索赔线馈送(CCLF)数据提取:简化索赔数据的提取并与临床、影像和SDOH数据相协调,以获取有关患者和大众的可行见解。
4、护理管理分析:利用统一的医疗数据和护理管理分析模板,通过识别高风险个体、优化治疗计划和改善护理协调来加强患者护理。
5、数据发现和分组:利用集成的工作流程,让医疗保健组织能够创建、管理、分析和共享患者群组。
医疗保健组织面临诸多挑战,包括劳动力短缺、成本上升和患者护理需求增加。生成式AI通过自动化管理任务、分析大量数据以获得可操作的见解以及协助专业人员进行决策,为这些挑战提供了潜在的解决方案。
为了解决这一问题,微软宣布了帮助医疗系统构建AI agents的新方法,他们将在Copilot Studio中公开预览医疗agent服务,用于预约安排、临床治疗案例匹配、患者分诊等。医疗保健组织可以利用医疗agent服务来帮助创建互联的患者体验、改善临床工作流程并增强医疗专业人员的能力,同时帮助组织通过Microsoft Copilot Studio满足行业期望。早期采用者,如克利夫兰诊所,提供了反馈以帮助优化医疗环境的解决方案,他们已经在使用这些工具来增强患者体验并提升运营效率。
AI agents的复杂程度各不相同,但它们可以帮助用户回答问题、自动化流程并执行特定任务。
通过Microsoft Copilot Studio,医疗保健组织还可以创建配备医疗保健专用安全措施的AI agent。例如,当答案包含对临床案例的引用时,会显示来源,并会通过注释标明答案是否由AI生成。微软提到,捏造和遗漏都会被标记出来。
例如,一个医疗保健组织可以构建一个AI agent来帮助医生为患者找到相关的临床治疗案例。医生可以输入问题:“55岁男性,患有糖尿病和间质性肺病,有哪些临床案例适合他?”然后会收到一系列相关回答,这将节省医生寻找每个案例的时间和精力。
据微软健康与生命科学部门健康AI总经理Hadas Bitran在与记者的问答中谈道,能够帮助回答患者基本问题的AI agent在参与测试该服务的医疗系统中很受欢迎。她还补充说,能够帮助医生回答有关最新医疗健康指南和患者病史的问题的AI agent也很常见。
微软的医疗保健agent服务将从宣布当天开始提供预览版。
▲微软的医疗agent服务界面(图源:微软)
据世界卫生组织(WHO)预测,到2030年护士短缺人数将达到450万,因此提供技术支持护理行业的需求比以往任何时候都更为紧迫。
今年8月,微软宣布其与Epic Systems合作的下一阶段将致力于构建针对护士的AI文档工具。他们正在开发一种可以增强护士日常工作流程的解决方案,通过起草流程表进行审查来处理护理文档,让护士能够将精力更多地放在患者身上,而不是文书工作上。据悉,外科护士有多达41%的时间花费在文档工作上。
Epic是一家医疗保健软件供应商,拥有美国超过2.8亿人的电子健康记录。它与微软有着长期的合作关系。
微软的Nuance已经为医生提供了一个名为DAX Copilot的自动化文档工具,该工具于去年推出。它允许医生在征得患者同意的情况下记录他们的就诊过程,然后AI会自动将其转化为临床笔记和摘要。
理想情况下,这意味着医生每次看诊时都不需要花时间自己输入这些笔记。
这项技术在今年迅速普及。Nuance宣布,DAX Copilot已于1月在Epic的电子健康记录中普遍可用,这是医疗保健行业内备受瞩目的认可。
将像DAX Copilot这样的工具直接集成到医生的电子健康记录工作流程中,意味着他们不需要切换应用程序即可访问它,这有助于节省时间并减轻行政工作负担。
但到目前为止,DAX Copilot仅供医生使用。微软提到,这一情况正在改变。该公司正在构建一个针对护士优化的类似工具。
尽管医生和护士密切合作,共同治疗和护理患者,但护士的工作日与医生的工作日截然不同,护理文档工作流程也同样独立且截然不同。护士在轮班期间需要移动,在各个房间之间移动以看望患者。他们在病床边交谈,并以流程表等高度结构化的格式记录患者信息。
“护士的工作流程与医生的工作流程截然不同,任何为护士开发的解决方案都需要与他们的工作方式相结合。”Presti在会上说道。“我们的团队花费了数小时在护士值班期间进行跟踪观察,以了解他们如何执行任务,并发现他们一天中最大的摩擦点在哪里。”
微软正在与斯坦福医疗保健(Stanford Health Care)、西北医学(Northwestern Medicine)和Tampa综合医院等组织合作开发这一工具。
微软在官方播客中提到,这些新的AI工具都将遵循该公司于2018年制定的AI原则,以帮助指导AI的开发和使用。通过设计开发负责任的AI,确保这些技术对医疗生态系统和社会产生广泛而积极影响。
在实践中,这意味着要正确构建、测试和监控系统,以避免不良行为,例如有害内容、偏见、滥用和其他意外风险,需要在构建必要的治理结构、政策、工具和流程方面进行大量投资,以坚持相关原则并安全地构建和部署AI。
文章来自于“智东西”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。
项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file
本地安装:https://www.deepbi.com/
【开源免费】airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。
项目地址:https://github.com/hitsz-ids/airda
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner