Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试
6606点击    2025-02-01 19:58

就在除夕前的晚上(2025 年 1 月 27 日),Deepseek 发布了多模态模型 Janus-Pro-7B,该模型在图像生成和多模态理解方面都超过了OpenAI的DALL-E 3(虽然也一般般),我相信能文生图功能一定很优秀了,今天搞点特殊的,测试下图像理解能力对专业的医学影像有没有应用的可行性,以下是常见的五种医学影像测试。


1.CT图


参考内容:https://www.yxppt.com/archives/127112


参考答案:肾细胞癌(RCC),肾实质内单发肿块,少数为多发,呈类圆形或分叶状,常造成局部肾轮廓外突。肿瘤较大者可出现囊变出血和坏死,造成密度不均。10%~20% 肿块内可见点状或弧线状钙化。


运行表现:


Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试


Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试


简单评价:Janus 能识别出是右侧肾脏有肿大异常。


2.心电图


参考内容:http://medline.ceshi.yiigle.com/news/detail.do?newsId=13042


参考答案:


图为一男性患者,54岁,因胸闷1h就诊,心电图示V2-V4导联T波高尖,心电图报告未提示急性心梗(AMI)。检查后患者自己步行回诊室途中突发室颤死亡。


AMI时,最早期出现的心电图改变为T波高尖或深倒置的冠状T波,伴或不伴ST段改变。T波高尖或深倒的产生是由于心肌严重缺血导致缺血性电活动的延长。T波高尖可见于正常人、高钾血症等临床情况,发现心电图T波高尖时如有缺血性胸痛应注意是否为AMI超急性期改变。


运行表现:


Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试


Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试


简单评价:没看出任何问题。


3.核磁共振(MRI )图


参考内容:https://neuro.dxy.cn/article/547997


参考答案:21 岁难治性癫痫伴结节性硬化症女性患者;A:FLAIR 可见高信号皮质结节伴条带状异常信号,从皮质延伸至侧脑室;B:FLAIR 可见多发高信号室管膜下结节。


运行表现:


Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试


这张 MRI 图显示了两个脑部切片,分别标记为 A 和 B。以下是对这些切片中可能反映的症状和异常的详细分析:


### 切片 A


1. **箭头标记的区域**:

  

- 箭头指向的区域似乎是大脑的灰质部分,可能是大脑皮层。


  - 箭头指向的区域显示了某种异常,可能是病变、损伤或异常信号。


  - 箭头指向的区域可能与某些脑部疾病或损伤有关,例如中风、肿瘤或炎症。


2. **灰质和白质**:

  

- 灰质和白质之间的界限清晰,表明切片质量较好。


  - 灰质部分显示了正常的脑组织结构,但箭头标记的区域可能存在异常。


### 切片 B


1. **箭头标记的区域**:

 

 - 箭头指向的区域位于大脑的中央白质部分,可能是基底节或丘脑区域。


  - 箭头指向的区域显示了某种异常,可能是病变、损伤或异常信号。

 

 - 箭头指向的区域可能与某些脑部疾病或损伤有关,例如中风、肿瘤或炎症。


2. **灰质和白质**:

  

- 灰质和白质之间的界限清晰,表明切片质量较好。


  - 灰质部分显示了正常的脑组织结构,但箭头标记的区域可能存在异常。


### 可能的诊断


1. **中风**:

 

 - 箭头指向的区域可能是中风后遗症,表现为脑组织损伤或坏死。

  

- 中风可能导致大脑皮层或白质区域的损伤,从而引起这些异常。


2. **肿瘤**:

 

 - 箭头指向的区域可能是肿瘤,例如脑膜瘤、胶质母细胞瘤或其他类型的脑部肿瘤。

 

 - 肿瘤可能影响大脑皮层或白质,导致异常信号。


3. **炎症**:

  

- 箭头指向的区域可能是炎症,例如脑膜炎或脑炎。


  - 炎症可能导致脑组织损伤或坏死,从而引起这些异常。


4. **其他原因**:

 

 - 其他原因可能包括感染、外伤或先天性异常。


简单评价:能识别出对应区域和异常情况,但诊断不对。


4.X 线图


参考内容:https://www.yxppt.com/archives/103849


参考答案:慢性嗜酸粒细胞性肺炎。


运行表现:


Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试


这张X线图显示了胸部和肺部的影像,其中可以看到一些异常的阴影和密度变化。这些变化可能表明存在肺部疾病或异常。


1. **肺部阴影**:图中可以看到肺部有多个阴影区域,这可能表明存在炎症、感染、肿瘤或其他病理变化。


2. **支气管扩张**:如果这些阴影是由于支气管扩张引起的,那么可能会有气道阻塞和肺泡扩张。


3. **肺不张**:如果这些阴影是由于肺不张引起的,那么可能会有肺部积气或积液。


4. **肿瘤**:如果这些阴影是由于肿瘤引起的,那么可能会有肿瘤的密度和形状变化。


5. **感染**:如果这些阴影是由于感染引起的,那么可能会有炎症和肺泡扩张。


为了做出准确的诊断,需要结合患者的病史、症状和其他检查结果,如血液检查、CT扫描或MRI。医生会根据这些信息来确定具体的病因并制定相应的治疗方案。


简单评价:能看出是肺炎和多处异常。


5.超声图


参考内容:https://ccdas.pmphai.com/appcase/toPcDetail?sessionId=&knowledgeLibPrefix=case&id=15322


参考答案:先天性心脏病,动脉导管未闭,肺动脉夹层,肺动脉高压(重度)。


运行表现:


Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试


这张心脏超声心动图显示了四个不同的切面,每个切面都提供了关于心脏结构和功能的详细信息。以下是对每个切面中发现的异常和初步诊断的分析:


### 图A


- **异常**:在图A中,可以看到一个箭头指向的区域,显示了心脏的左心室(LV)壁的增厚。


- **诊断**:左心室壁增厚可能提示左心室肥厚(LV hypertrophy),这通常与高血压、糖尿病或长期吸烟等风险因素相关。


### 图B


- **异常**:图B显示了彩色多普勒超声,其中红色和蓝色区域表示血液流动的方向和速度。


- **诊断**:红色区域(动脉)和蓝色区域(静脉)之间的对比可能表明血液流动的异常,这可能与左心室流出道(LVOT)的解剖异常有关,如左心室流出道狭窄(LVEDOT)。


### 图C


- **异常**:图C显示了左心室(LV)的横截面,箭头指向的区域显示了左心室壁的异常增厚。


- **诊断**:与图A类似,左心室壁增厚可能提示左心室肥厚,这可能与高血压、糖尿病或长期吸烟等风险因素相关。


### 图D


- **异常**:图D显示了二维超声图像,其中黄色区域表示心脏的收缩期,蓝色区域表示舒张期。


- **诊断**:图D中显示的收缩期(黄色)和舒张期(蓝色)之间的差异可能表明心脏收缩功能障碍,这可能与左心室收缩功能不全(LVEF)降低有关。


### 综合诊断


- **左心室壁增厚**:图A和图C显示了左心室壁的增厚,这可能与高血压、糖尿病或长期吸烟等风险因素相关。


- **左心室流出道狭窄**:图B显示了左心室流出道(LVOT)的解剖异常,这可能与左心室流出道狭窄(LVEDOT)有关。


- **左心室收缩功能不全**:图D显示了收缩期和舒张期的差异,这可能表明左心室收缩功能不全(LVEF)降低。


简单评价:识别出挺多异常,但没给出具体诊断。


总结


综上使用Janus Pro完成了 5 种常见医学影像图的多模态理解功能测试,其中除了在心电图没看出问题外,其他图像都实现了或多或少地检测出有价值的异常(甚至是准确的)和一定范围的诊断定位。即使是专业的医生,单凭片子就能出诊断疾病也是很难的,而这只是个通用图像理解模型,没对医疗领域进行专门优化,结果已经非常惊艳了, 真的非常不错,有值得我们期待的优化空间,非常感谢 Deepseek 团队。


我不是医学科班出身的,我没法对Janus Pro的效果做出专业可靠的判断,但当这个模型出来时,我的第一个反应是,能不能帮助我们减少疾病给家人朋友的痛苦,让更多没有良好医疗条件的人们可以得到更先进和实惠的 AI 医生的帮助,早日康复!我相信这一天值得我们期待和努力。


文章来自于微信公众号“Alson李承霖”


Deepseek多模态大模型Janus-Pro-7B在医疗领域的简单应用可行性测试

关键词: AI , DeepSeek , Janus-Pro-7B , AI医疗
AITNT-国内领先的一站式人工智能新闻资讯网站