科学家们已经开发出一种人工智能(AI)工具,能够诊断和预测多种健康状况的患病风险,从眼部疾病到心力衰竭再到帕金森病,所有这些都可以根据人们的视网膜图像进行诊断和预测。
在以前就有AI工具被训练过,并用于利用视网膜图像检测疾病,但这次和以往有所不同。名为 RETFound 的新工具的特别之处在于,它是利用一种被称为自我监督学习的方法开发出来的。这意味着,研究人员不用再去训练 160 万张视网膜图像进行训练分析了。过往的训练需要将160万张素材都做数据标签,告诉AI什么是 "正常 ",什么是"不正常"。那样的训练过程既耗时成本又高。
RETFound 则没有采用过往办法,科学家们使用了一种类似于训练大型语言模型(如 ChatGPT)的方法。让人工智能工具利用无数人类生成的文本实例,学习如何根据前一个词的上下文来预测句子中的下一个词。当然,RETFound 也是利用大量视网膜照片来学习如何预测图像中缺失的部分应该是什么样子。
"伦敦莫菲尔德眼科医院(Moorfields Eye Hospital NHS Foundation Trust)的眼科医生皮尔斯-基恩(Pearse Keane)说:"在数百万张图像中,模型不知不觉地学会了视网膜的样子,以及视网膜的所有特征。这构成了该模型的基石,并将其归类为所谓的基础模型,这意味着它可以适用于许多任务。
视网膜是人体唯一可以直接观察到由最小血管组成的毛细血管网的部位,因此视网膜可以作为了解人体健康状况的窗口。"基恩说:"如果你患有某种全身性心血管疾病,比如高血压,它可能会影响你身体的每一根血管,我们可以通过视网膜图像直接观察到这一点。
视网膜也是中枢神经系统的延伸,与大脑有相似之处,这意味着视网膜图像可以用来评估神经组织。"问题在于,很多时候人们并不具备解读这些扫描图像的专业知识。这就是人工智能的用武之地,"Keane 说。
一旦他们在160万张未标记的视网膜图像上对RETFound进行了预训练,Keane和他的同事们就可以引入少量标记图像-——例如,100张来自帕金森病患者的视网膜图像和100张来自非帕金森病患者的视网膜图像--来向模型传授特定病症的知识。基恩说,从所有未标记的图像中了解到视网膜应该是什么样子后,模型就能很容易地学习到与疾病相关的视网膜特征。
英国伯明翰大学(University of Birmingham)研究人工智能责任创新的临床研究员刘晓璇(Xiaoxuan Liu)说,使用无标签数据来初步训练模型 "为研究人员解开了一个主要瓶颈"。加利福尼亚州斯坦福大学医学和成像人工智能中心主任、放射科医生柯蒂斯-朗洛茨(Curtis Langlotz)对此表示赞同。"他说:"医疗数据的高质量标签非常昂贵,因此标签效率已成为最重要的因素。
该系统在检测糖尿病视网膜病变等眼部疾病方面表现出色。在0.5和1之间的范围内,0.5代表的是一个不比随机预测更好的模型,1代表的是一个每次都能做出准确预测的完美模型。在预测全身性疾病(如心脏病发作、心力衰竭、中风和帕金森病)的风险时,其总体表现有限,但仍优于其他人工智能模型。
刘说,RETFound是迄今为止基础模型在医学成像领域为数不多的成功应用之一。
研究人员现在正展望用于开发 RETFound 的技术可能会应用于哪些其他类型的医学成像。"Langlotz说:"看看这些方法是否能推广到更复杂的图像中将会很有趣,例如,磁共振图像或计算机断层扫描,它们通常是三维甚至四维的。
作者已经公开了这一模型,并希望世界各地的团体能够对其进行调整和训练,使其适用于自己的患者群体和医疗环境。"Keane说:"他们有可能采用这种算法,并利用本国的数据对其进行微调,以获得更适合他们使用的东西。
"刘说:"这太令人兴奋了。但她补充说,使用 RETFound 作为其他疾病检测模型的基础也有风险。这是因为该工具中的任何局限性都可能会渗入未来以此为基础建立的模型中。"RETFound的作者现在要做的是确保其使用的道德性和安全性,包括透明地告知其局限性,使其成为真正的社区资产。
RETFound开源项目地址:https://github.com/rmaphoh/RETFound_MAE
文章转载自nature
【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。
项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file
本地安装:https://www.deepbi.com/
【开源免费】airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。
项目地址:https://github.com/hitsz-ids/airda
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner