TA-MedSAM:为肺病变细分进行文本增强的改进的MedSAM.
Siyuan Tang1, Siriguleng Wang2, Gang Xiang3
1College of Mathematical Sciences, Inner Mongolia Normal University, Hohhot, Inner Mongolia 010022, China; College of Computer Science and Technology, Baotou Medical College, Baotou, Inner Mongolia 014040, China.
概括
这项研究引入了文本增强医疗细分任何模块 (TA-MedSAM) 以改进肺损伤细分. TA-MedSAM通过融合视觉和文本数据,提高了挑战性病变的准确性.
科学领域:
- 医学图像分析 医学图像分析
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 精确的肺病变细分对于临床诊断至关重要,但受到传统单模式视觉数据方法的限制.
- 现有的医疗图像细分模型与呈现低对比度,模糊边界,复杂形态和小尺寸的病变作斗争.
研究的目的:
- 开发一种新的多式联络方法,TA-MedSAM,用于增强肺病变细分.
- 通过视觉语言融合范式,通过整合视觉和文本信息来提高细分精度.
主要方法:
- 推出了一个轻量级的医疗分段任何模型 (MedSAM) 图像编码器和一个预训练的ClinicalBERT文本编码器.
- 开发了一个重建文本模块,用于以损伤为中心的文本提示焦点,以及一个具有注意力机制的多式特征融合模块.
- 实施了特征对齐协调机制,动态感知学习机制和具有多任务损失功能的多尺度特征融合模块.
主要成果:
- TA-MedSAM显著提高了挑战性肺病变的细分精度.
- 该模型显示了降低参数和计算成本,提高了推断速度.
- 对比实验表明,TA-MedSAM在多个数据集上优于最先进的单模和多模方法.
结论:
- 通过有效利用多式联络信息,TA-MedSAM为肺病变细分提供了一种卓越的方法.
- 拟议的组件和融合策略有助于提高细分性能,特别是在复杂的情况下.
- 这种方法有望促进肺部疾病的临床诊断和治疗规划.
