MIT-SAM:医疗图像-文本SAM与相互增强的异质特征融合用于医疗图像分割
IEEE journal of biomedical and health informatics
|April 16, 2025
概括
本研究介绍了医疗图像-文本分段任何模型 (MIT-SAM),用于改进使用文本的医疗图像分段. 通过有效地将文本细节与图像数据集成,MIT-SAM提高了细分精度.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 以往使用文本数据进行医学图像细分的方法在有效利用缩短的语义信息方面存在局限性.
- 不准确的损伤细分是由于以前基于注意力的方法中图像和文本特征的整合不足造成的.
研究的目的:
- 介绍一个新的文本辅助医疗图像细分模型,医疗图像-文本细分任何模型 (MIT-SAM).
- 加强对文本语义信息的利用,以提高病变细分的准确性.
主要方法:
- 开发了一种SAM增强的图像编码器和基于BERT的文本编码器,用于异质的特征提取.
- 提出图像-文本交互融合 (ITIF) 块,以相互增强功能.
- 引入了自主监督文本重建 (SSTR) 方法,以捕捉损伤位置和数量等细节.
主要成果:
- 拟议的MIT-SAM模型在QaTa-COV19和MosMedData+数据集上实现了最先进的性能.
- 与以前的方法相比,在医学图像细分方面表现出更高的准确性.
结论:
- 麻省理工学院-SAM模型有效地利用文本信息来显著改善医疗图像细分.
- ITIF 块和 SSTR 方法对于从损伤文本中获取详细的语义信息至关重要,从而提高了细分结果.
