ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
AI技术在微创外科中的应用和思考
7057点击    2024-09-28 17:03

引言:


外科医生Dr. Lee在一次美敦力的学术讨论上说到,“外科医生和精英运动员非常相似,都在团队环境中工作,不断的重复训练已达到顶尖的成绩。但运动员往往花费更多的时间在影像室,回顾和研究过去的表现。而医生目前还没有得到足够、及时的信息反馈,以学习和提升手术技能。”


因此,本篇报告旨在回答的问题是:


1. 微创外科手术中有哪些数据?


2. AI技术对数据处理的难点和现状如何?


3. 目前有哪些商业化案例?产品的主要功能有哪些?


4. 未来AI技术在微创外科手术的发展趋势。


一、外科数据:手术致胜的关键


1.1 未被有效利用的非结构化手术数据


医院每年产生50PB的数据。这些海量信息包括临床记录、实验室测试、医学图像、传感器读数、基因组学以及运营和财务数据。目前,97%的数据未被使用,这些数据大部分是非结构化的,但如果通过有效的处理,具有改变医疗质量的巨大潜力。


对一名医疗从业者来说,从医学生成长为一名成熟的外科医生,需要专业的医学教育、大量的手术模拟练习、手术实操经验、持续的学术学习、自我评估反馈和良好的团队合作等等。其中的各个环节,都离不开相关的专业数据支持。



▲图1 外科手术数据  


微创外科手术为例,术前、术中、术后数据涵盖了从患者基本信息、影像学、实验室分析,到术中实时监测、手术参数记录,以及术后恢复和随访的各个方面。手术前后的数据使用是确保手术成功、患者安全以及良好术后恢复的关键。通过全面的术前评估、实时的术中监控以及详细的术后跟踪,医生能够更好地管理手术过程和患者的康复。这些数据不仅有助于提高手术的精确性,还能在术后提供有效的反馈和改进措施。


1.2 现有的数字化外科场景


AI赋能医疗,早已不是新鲜的话题,基于影像学数据的各类功能软件层出不穷。据沙利文统计,截至2024年6月,中国已有92款人工智能医学影像辅助诊断软件获批NMPA三类医疗器械证。涵盖心血管疾病(27款)、肺部疾病(24款)、脑血管疾病(13款)、骨科检查(10款)、眼底疾病(9款)、乳腺疾病(2款)等。这些产品涵盖多疾病领域、多种设备类型,可实现图像质量改善、病灶识别与重构、疾病分期与分级、疾病进展预测等功能。



▲图2 AI医学影像产业图谱


以上这些主要是基于CT、MRI、超声等数据进行的筛查和辅助诊断,在一定程度上解决了医生双眼的局限性,但数据场景相对单一(相比于外科内窥镜影像)。在外科手术中,手术视频影像为代表的术中数据资源,在过去受限于技术算法、空间存储、格式差异、安全隐私性、便捷性、回顾效率等问题,仍然缺乏有效的分析利用。近些年来,美敦力、强生、直觉外科、其他国内外创新企业与医生一起,结合现有硬件和数据资源,逐渐开始丰富数字化外科场景应用。


二、技术开发难点及现状


2.1 数据处理难点


(1) 数据的特异性和多样性:数字化外科产品依赖大量高质量的手术数据进行训练和优化。然而,手术场景通常复杂多变,涉及多种器械、组织和操作,手术视频和数据的获取往往不易,不同医院和医生之间的数据格式、质量和术式操作方式也各不相同,导致数据标准化和一致性难以保证。缺乏标准化的数据可能会限制模型的泛化能力,导致产品在不同场景下表现不一致。


(2) 数据的准确标注:外科数据通常涉及复杂的解剖结构和手术操作,准确标注这些数据需要具备专业的医学知识。标注者不仅需要了解解剖学,还需要理解手术过程和器械使用。这意味着标注工作往往只能由经验丰富的外科医生或专业的医学人员来完成,从而使得标注成本高、难度大。


(3) 实时处理与响应:在外科手术中,AI 系统需要实时分析手术视频和数据,并给出建议或警示。这要求系统具有极高的计算速度和低延迟,但实时处理复杂的手术场景和数据非常困难。在精力高度集中的主刀医生眼中,延迟或处理不及时都会极大的降低产品的可用性,因为它可能会影响手术的顺利进行,甚至对患者安全构成威胁。


(4) 数据隐私与安全:手术视频和数据涉及患者隐私,如何在确保数据安全和合规的前提下进行存储、传输和处理,是数字化外科产品必须解决的问题。在美国和欧洲,个人健康信息等隐私数据受到法律的严格保护,例如HIPAA、HITECH和GDPR,目前,海外各类平台通过获得HITRUST CSF® 等认证形式满足相应法规要求。


(5) 与现有系统的集成度:通过与医院现有的电子病历系统(EMR)、手术室设备和其他数字化工具集成,数字化外科产品可以赋能术前诊断、术中辅助和术后回顾,打造多功能化的业务形态。但不同医院和国家的系统各异,标准化接口和集成工作有一定难度和挑战。


2.2 AI技术模型


数字化外科涉及多种算法和技术,以下简单略举了常用的模型类型和技术,用于不同的目标场景。由于数据的多样性,常常会采用多模态方式提供更全面的数据分析和建议。



▲图4 数字化外科中的 AI 技术模型


AI相关的学术论文、竞赛也是医学和计算机领域的热点。例如,MICCAI每年都会举办多个与医学图像分析和外科手术相关的挑战赛,例如腔镜手术器械识别追踪(SurgToolLoc)、头颈肿瘤选区描边(SegRap)、低剂量CT图像质量评估(LDCTIQAC)、腔镜视觉(EndoVis)挑战赛等。



▲图5 香港中文大学刘云辉教授团队MICCA发表文章


香港中文大学刘教授团队在论文中绍了一个新的数据集AutoLaparo,专为图像引导的手术自动化系统设计,适用于腹腔镜子宫切除术的视频图像分割。


北京协和医院吴院长团队针对机器人手术场景特点,基于半监督学习、自监督学习、目标检测、目标追踪等算法策略,优化出了一个机器学习与图像处理的高效学习模型,识别并追踪术中器械。



▲图6 北京协和医院团队(吴文铭,花苏榕,平陆等)获得2023 MICCAI SurgToolLoc世界冠军


2.3 技术开发现状



▲图3 The applications of AI in surgery and the data sources. Applications are divided into preoperative, intraoperative and postoperative stages


对于术前、术中、术后的各个场景,人工智能均具有极大的应用潜力。


术前:采用深度学习技术能够提高术前MRI、OCT视网膜病变的检出率。利用机器学习可以提高风险工具的预测能力,用于例如急诊剖腹手术患者急诊手术风险。


术中:使用语义分割的深度学习模型,可以在腹腔镜胆囊切除术中识别安全和危险区域。采用卷积神经网络,基于原始运动学或视频数据,可以自动对缝合和打结等基本技术手术任务进行客观技能评估。


术后:基于患者数据的随机森林模型用于预测术后第二天是否需要医院干预,减少不必要住院时间。利用ML、语音识别和语音模拟技术,针对术后骨科患者进行自动人工智能辅助随访,提高随访效率。


ChatGPT为代表的大语言模型,有可能成为医学教育的重要工具,用于评估评分、教学支持、学生表现预测、实时反馈和内容生成等。


2.4 基于手术视频的开发场景



手术视频作为影像数据,包含外科手术巨大的信息量,它记录了病人的术中情况、手术过程,与手术结果息息相关。良好的应用手术视频,可以为医生在手术的全流程进行赋能,具有巨大的开发价值和临床意义,具体公司和产品将在下文中详细介绍。


三、代表性产品介绍


3.1 Theator


Theator创立于2018年,总部位于美国帕洛阿尔托和以色列特拉维夫-雅法,是一家致力于打造结合人工智能和计算机视觉的外科智能平台的医疗科技公司。


Theator的首款产品Minutes于2019年4月推出,是一款视频流分析工具,旨在通过人工智能(AI)技术帮助外科医生提升手术质量和效率。



▲图7 Theator融资情况


3.1.1 主要功能


(1) 视频管理


系统自动记录各类腹腔镜和机器人视频。通过安全的云存储,快速上传从而在术后进行回放,手机端、iPad端和电脑端均可查看。



▲图8 视频管理功能


(2) 实时反馈


实时自动识别手术阶段,工具使用、患者状态等。提供实时图表和仪表盘,以便手术团队能够快速获取关键数据,如手术时间、出血量等。通过实时更新,手术团队能够立即获得反馈,帮助调整手术策略和技术。此外,允许远程专家或顾问通过安全的网络连接实时监控手术过程,提供支持或建议。



▲图9 实时识别和反馈功能


(3) 术后智能分析


Theator能够自动检测手术过程中的关键事件和操作,例如粘连松解、特定组织的解剖与分离、血管解剖、缝合等,并将手术过程划分为不同阶段。每个阶段的细节包括术中事件、安全信息、操作时间、所用工具、患者反应等信息都会被记录下来。


Theator支持纵向数据分析,比较不同时间段、医生、团队或手术类型之间的表现差异,识别改进机会。产品还提供关于手术时间、失血量、并发症率等关键指标的统计分析,帮助医院和医生评估手术效果。



▲图10 术后智能数据分析功能


在官方介绍的功能中,“Standardize Safety across Department”功能对新手外科医生规范化手术操作很有帮助,可以使不同医生在必要的手术安全性操作方面采用一致的标准和流程。以普外科的常见手术阑尾切除术为例,“阑尾的尖端被分离开、阑尾被抬起并向下移位、末端回肠位于前景、自由带清晰可见”等操作被识别并分析。


在Theator的领英和官网中,可以看到许多有趣的数据分析结果,例如,1)相比于手术机器人子宫切除术,普通腹腔镜快28%(31分钟)。2)尽管双层阴道断端缝合技术可以减少并发症,仅有15%的子宫切除术使用了这一技术。3)在右半结肠切除术中,体内吻合可以改善手术结果,但体内吻合的情况比想象中要少。有了AI的加持,这些术中的信息能够快速、高效的被量化统计和分析。


3.1.2 产品小结


Theator是海外最早探索外科视频分析的智能平台,在AI视频分析功能上比其他团队更加领先,但未来商业化需要考虑如何与腔镜设备、机器人厂商形成更深入的协同合作。


3.2 Touch Surgery(美敦力收购)


Digital Surgery Limited是一家英国伦敦的外科手术人工智能数据分析及培训服务商,由两位前外科手术医生于2013年创立。2020年2月,美敦力完成对Digital Surgery Limited的收购。



▲图11 Digital Surgery融资历程


公司主要运营产品服务包括Touch Surgery™网站、app以及Touch Surgery™ Enterprise企业平台。其中,Touch Surgery是一款经过学术验证和认证,用于外科手术准备、练习和教学的移动培训App。Touch Surgery™ Enterprise是用于帮助医生上传、存储和管理外科医疗视频的平台,方便进行手术案例的术后回顾、数据分析、反思练习、培训分享等。


3.2.1 主要功能


(1) Touch Surgery™ Simulations:模拟教学


Touch Surgery™ APP提供17种类型,200多种手术的模拟教学,涵盖外科、内科、急诊、麻醉等等。3D交互式逼真模拟操作,在动画演示前,每一项操作有相应的文字讲解,例如基础知识、操作步骤要点、关键解剖位置、使用器械、适应证和禁忌证、麻醉方式、术后护理和可能的并发症。在测试模式下可以学习和巩固操作步骤,出错步骤会有提示和讲解。此外,通过使用Hololens等头戴式设备,用户可以在虚拟手术室环境中进行术式学习。





▲图12  Touch Surgery™ Simulations功能


(2) Touch Surgery™ Connectivity:手术视频管理


Touch Surgery™ Enterprise是一个基于人工智能的手术视频管理分析平台,配置实时AI智能手术录像机DS1,具有自动匿名化功能,可安全、轻松地访问手术视频,并提供术后分析。



▲图13  Touch Surgery™ Connectivity功能


设备与大多数腹腔镜或外科机器人系统兼容,在手术完成后自动上传手术视频,无需USB驱动器、DVD或加密驱动器。通过内置实时 RedactOR™ 技术,在视频保存到云端之前对腔镜外的视频部分进行模糊处理,保护患者和用户的隐私。手术结束后,用户可以在手机app上查看手术视频,随时访问、查看视频并添加注释,并可以和同事共享。


(3)Touch Surgery™ Performance Insights:智能评估及识别



▲图14  智能评估及识别功能


主要包括三大功能。1)视频分割:通过AI算法将视频自动分割成关键程序步骤,并进行标记。2)分析评估:在网页端和手机端app上,可以将本次手术与历史同类手术的指标进行对比分析,分析改进手术技巧。3)其他正在更新的AI算法:视频分析、器械跟踪、视野分区、组织识别等。


2024年2月,美敦力的一次学术会议中分享了产品未来预计拓展的AI算法功能。不久后的4月份便宣布在Touch Surgery™ Performance Insights平台上引入了 14 种新的 AI 驱动算法,涵盖手术工作流程、器械设备和解剖检测。


据介绍,AI技术覆盖多种腹腔镜和手术机器人术式,例如腹腔镜胆囊切除术、腹腔镜阑尾切除术、腹腔镜TAPP腹股沟疝修补术、机器人TAPP腹股沟疝修补术、腹腔镜袖状胃切除术、腹腔镜Roux-en-Y胃旁路手术、腹腔镜右半结肠切除术、机器人辅助全子宫切除术、机器人辅助根治性前列腺切除术、机器人辅助肾部分切除术等。不过,目前尚未实际看到这项功能在国内实际使用情况,尚不清楚AI算法的实时识别效果。


(4)Touch Surgery™ Live Stream:手术直播功能



▲图15 手术直播功能


Touch Surgery加入直播功能Touch Surgery™ Live Stream,为20多个国家的手术室提供远程实时观察方案,实现安全的手术直播,创造虚拟学习环境。


3.2.2 产品小结


Touch Surgery基于美敦力的外科平台,在品牌影响力的加持下可以获得大量视频来源,并且便捷地帮助医生进行视频管理。模拟教学的功能也可以使得大量新手医生可以有效地学习使用,相比其他产品功能更丰富。但目前来看,AI识别还处于早期阶段,为医生提供的智能分析相对有限。


3.3 Intuitive Hub


Intuitive Hub是直觉外科公司的视觉媒体平台,用于辅助达芬奇手术机器人,允许外科医生录制手术过程并存储媒体用于协作和学习。Hub可以录制、标记并安全存储视频,方便高效访问、编辑和分享。通过Hub,术者可以实时直播手术,利用远程技术进行实时案例观察和指导。


在达芬奇手术机器人系统中,通过 Intuitive Hub、SimNow(手术模拟器)和My Intuitive(用户数据访问软件)的相互协作,共同打造数字化解决方案。


3.3.1主要功能


(1) 手术视频管理:录制、标注和分享


Intuitive Hub能够自动录制整个手术过程,无需手动干预,支持高清录像。手术结束后,外科医生可以在手术后立即回顾录制的视频,用于新手医生学习培训、个人的改进提升、同行的交流评审以及患者沟通(帮助患者理解手术步骤和相关风险、讨论手术结果和术后护理)。用户可以对重要片段进行书签标记并添加注释,方便突出关键时刻和讨论。


此外,Intuitive Hub 确保所有分享内容符合 HIPAA 规定,维护患者隐私和数据安全。外科医生可以安全地与同事和医疗团队分享视频。


(2) 实时的远程访问和协作


外科医生和医疗专业人员可以远程访问和协作处理手术视频,增强多学科团队的沟通与协作,使得不同地点的专家能够提供意见和指导。


(3) 分析评估和持续改进


Intuitive Hub设计与达芬奇手术系统无缝集成,确保视频录制和数据捕捉与机器人平台的操作同步进行。结合数据分析,帮助术者技能提升、为医院管理人员提供管理支持。例如下图,术者可以利用机械臂使用、器械使用、手术时间等指标与同行对比,分析个人手术水平、是否有其他器械方案等。对于医院管理人员,通过系统整体使用情况和库存信息,管理跟进产品使用近况。



▲图16 术后评估功能


3.3.2 产品小结


在最新发布的Da Vinci 5中集成了气腹机和电外科设备,相应的气腹数据、能量数据等也被采集和利用。此外,Da Vinci 5还引入了力传感技术,部分可选器械能让系统测量手术过程中施加在人体组织上的微小力,并让外科医生了解到实际力度。未来,力反馈信息也会被应用分析。


此外,直觉外科还通过投资方式建立数字生态,打造数据护城河。例如,战略性投资KelaHealth (围手术期临床决策支持),Flywheel (研究数据管理),MedCrypt (数据安全服务)等等。


通过将术前SimNow训练数据、术中各组件的记录数据、和术后的评估数据等进行整合,系统拥有丰富的数据资源,用于支持新产品的持续迭代开发,这是外科集成的魅力,也是未来手术机器人的发展方向。



▲图17 达芬奇数字化布局,参考海康慧影发布会分享


3.4 C-SATS(强生收购)


C-SATS公司2014年成立,来源于华盛顿大学,C-SATS™ 产品通过手术视频数据,帮助外科医生评估技术技能并提升手术水平,改善患者治疗效果。


公司创始团队包括CEO Derek Streat, Dr. Thomas Lendvay, Dr. Timothy Kowalewski, Dr. Lee White, Bryan Comstock等。2018年被强生(J&J)收购时,员工数量20人左右,所有员工在收购后继续留任。


3.4.1 主要功能


(1) 视频存储和视频库学习


C-SATS平台能够记录手术过程中的视频,并将其安全上传至云端进行管理。所有手术视频数据都受到隐私法(如HIPAA)的保护,以便于外科医生可以安全的进行数据存储、分析评分和分享讨论。此外,C-SATS提供了一个庞大的手术视频库,外科医生可以访问和学习不同类型的手术视频。



▲图18 C-SATS视频存储功能


(2) AI数据分析


视频分割:C-SATS使用AI自动将手术视频分割成关键的手术步骤,识别并标记手术中的重要事件,如器械使用、解剖标志和手术里程碑。


评估技术指标:手术动作的精确性、速度和一致性等指标评估用于外科医生的表现。此外,将医生的表现与同行的数据库进行比较,帮助识别改进。


(3) 专家反馈和同行评审


平台利用资深外科专家对手术视频进行分析,提供个性化的、具有建设性的反馈。这些反馈有助于医生识别操作中的不足,并改善技术。在官方网站中,C-SATS列出了120名专家评审员成员,科室上覆盖普外、妇科、泌尿、胸外、耳鼻喉等各类外科科室,以美国医生为主,也涵盖了少量其他国家专家,他们通过观看术者视频对其进行评价及远程指导。


除了专家分析,C-SATS还鼓励外科医生之间的同行评审。外科医生可以匿名分享他们的手术案例,接受来自全球同行的建设性评论和建议。这种方式有助于促进开放式的学习和技能交流。




▲图19 C-SATS专家库


(4) 社区交流


讨论论坛:C-SATS平台设有讨论论坛,外科医生可以在这里提出问题、分享经验和讨论手术技巧。这个互动空间促进了社区成员之间的知识交换,帮助外科医生拓展视野和获取新的见解。


案例分享与学习:平台支持外科医生分享具有挑战性的手术案例,社区成员可以通过讨论这些案例来学习和交流,从中吸取经验教训。


目前C-SATS™ 产品设置了免费版和付费企业版,免费版仅提供手术视频库和社区交流功能,其他AI相关及专家评价等需要付费。


3.4.2 产品小结


C-SATS可以为医生建立了一个良好的自我提升、学习交流环境,不可否认的是,专家的建议对于医生技术的提升是非常重要的。但由于不同国家、不同专家在术式选择、操作技巧等方面存在差异,若进行全球性推广,例如美国专家的反馈和评分是否对中国的年轻医生真正有所帮助,是存在疑虑的。此外的现实问题是,如果要在国内大范围推广,中国的专家是否有时间&动力去给年轻医生评分?年轻医生在平台中的付费由谁来承担(个人/医院)等等。


3.5 Polyphonic


Polyphonic是2024年6月20日强生最新发布的数字平台,由强生的MedTech部门开发,是一个综合的数字生态系统,能够整合各种手术数据源。目前产品正在一些医院进行测试,计划在2025年进行更广泛的发布。


3.5.1 主要功能


(1) 手术视频管理


Polyphonic允许外科医生从手术中创建、编辑和分享视频片段。支持外科医生之间的协作,在安全的环境中,允许医生间对手术技术或并发症进行标注、标记和讨论。


(2) 远程交流和病理管理


平台支持实时虚拟咨询和远程手术观察,使外科医生能够在手术过程中提供和接收反馈。它还与电子健康记录集成,跟踪患者从术前到术后阶段的进展。


(3) 开放集成、AI反馈


Polyphonic可以与各种手术设备和数据源集成,能够分析手术过程中生成的大量数据,这些数据可以用来创建标准,帮助外科医生接收更结构化的反馈,并根据可量化的指标提升技能。


2024年3月,强生宣布与Nvidia的合作,获得使用英伟达IGX边缘计算平台和Holoscan边缘AI平台的权限,通过利用英伟达的计算平台和人工智能技术,支持手术软件和设备在手术室内进行实时数据分析。


3.5.2 产品小结


相对于美敦力、Intuitive Surgical,强生的布局有些滞后,目前的产品形态尚不成熟,产品会首先专注于腹腔镜手术,然后再扩展到其他模式,包括机器人系统。但与Nvidia合作借助其AI技术,产品值得持续关注。


3.6 与睿创新


成都与睿创新科技有限公司成立于2019年,核心团队包括来自南洋理工大学、四川大学、浙江大学、电子科技大学的计算机研发团队,以及华西医院、中日友好医院、协和医院、南方医科大、广医附院等医学团队。

公司自主研发的“SurgSmart睿术”计算机辅助手术CAS(ComputerAssisted Surgery)平台,致力于打造世界领先的微创外科人工智能手术平台。目前,与睿创新产品在30+家医院落地,已经完成数千万多轮产业融资,是亚马逊AWS、英伟达Nvidia、微软公司Microsoft重点孵化团队。


3.6.1主要功能


(1) 术前远程辅助手术规划


术前信息集成:术前用户上传患者资料到SurgSmart病例系统,自动生成可视化病例,帮助医生快速了解病人情况。集成Dicom文件查看程序,更细致地分析病人影像资料;多端设备支持,随时随地参与手术规划讨论。




▲图20 信息集成功能


(2) 术中AI智能分析辅助系统


产品通过实时识别手术关键事件,构建术中信息「虚拟仪表盘」,记录术中关键节点,帮助外科医生高效掌控手术,提高手术效率。例如:体腔内外识别、术中解剖离断点识别、手术器械与分析、手术过程与阶段分析、缝合/吻合识别、出血事件自动识别等。


公司针对不同术式特点,推出专科解决方案。例如腹腔镜胆囊切除术(阶段识别、CVS/CVO状态评估)、腹腔镜胰十二指肠切除术(阶段识别)。



▲图21 AI智能分析功能


(3) 术后智能复盘


建立个人视频库:视频自动录制上传,通过大批量自动化分析,结构化手术视频数据,建立专科手术大数据。智能检索功能(如:炎症水肿,出血较多,缝合较快)可以帮助案例研究、相似病案查找分析。



▲图22 个人视频数据库 


临床案例管理:基于人工智能的关键信息提取,重新梳理患者诊疗全过程,基于最直观的病程查看体验,提高病例查看、会诊复盘效率。移动端支持随时随地查看、批注、分享交流病案。


智能诊疗复盘:智能时间轴可视化术中事件、阶段,帮助手术快速回顾,复盘手术操作, 加速外科技能学习与成长。快速分享研讨手术关键节点,高质量进行外科教育和学术推广。移动端支持随时随地查看手术。



▲图23 术后评估功能 


3.6.2 产品小结


与睿创新是国内最早进行外科手术人工智能技术研究探索的团队,与临床医生团队合作,在专科术式上已有一定积累,期待未来基于国内丰富的视频资源,实现更多大样本多中心临床数据结果,与国内的器械设备、机器人厂商更多的合作,在精准性、多功能化上更多突破。


四、未来已来:期待更多场景落地


万物互联,手术场景的数字化刚刚开始


Dr. Liane Feldman在分析外科手术的变革过程中提到,过去人们依赖有限的专业知识和设备,基于传统经验进行手术。现在,围手术期充斥着大量患者信息,操作器械和监控设备相互独立,依靠术者进行信息判断分析。未来,设备间应实现智能互联,自动地获取、处理各类数据信息用于指导手术。



数据为王,有效理解和整合数据是关键


外科数据由于其特异性和多样性,涉及不同类型的手术、患者个体差异、术中实时变化等多方面因素。有效理解和整合这些数据不仅能提高手术的精准度和安全性,还能为术后分析和优化提供重要依据。这需要先进的数据管理系统和算法支持,通过深度学习等技术手段,对数据进行多维度分析,从而实现个性化医疗和最佳治疗效果。


软硬结合,通过硬件载体打开商业前景


从国内外入局公司的产品布局可以看出,与外科设备数据集成、与机器人系统协同是AI在微创外科发展布局的重要方向。过往的“AI+医疗”经验来看,单纯软件服务的商业化落地挑战很大,与硬件结合更利于市场的推广。国际巨头已逐渐意识到在AI技术快速发展的时代,有效地利用外科数据对于产品创新研发迭代、医疗质量改善具有不可抵挡的潜力。


手术机器人是AI场景落地的最优载体


杨广中院士早在2017年于《Science》子刊《Science Robotics》中发表文章,思考了医疗机器人自动化分级问题,定义了6种的自动化等级。目前来看,手术机器人还处于Level0(无自动化)-Level1(机器人辅助)阶段,自动化程度还很低。而无论是直觉外科,还是美敦力、强生,都在积极考虑将腔镜机器人与AI数字化相结合,"AI+手术机器人"未来大有可为。目前,康基医疗战略投资的唯精医疗公司,也在器械识别、智能跟踪、视野感知等方面进行探索,值得期待。


文章来源于“研以致用”,作者“康基资本




AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI工作流

【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费)


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/(付费)

2
AI数据分析

【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。

项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file

本地安装:https://www.deepbi.com/

【开源免费airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。

项目地址:https://github.com/hitsz-ids/airda

3
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales