MA-SAM:用于3D医学图像细分的模态无定性SAM适应
Cheng Chen1, Juzheng Miao2, Dufan Wu1
1Center of Advanced Medical Computing and Analysis, Massachusetts General Hospital and Harvard Medical School, Boston, MA 02114, USA.
Medical image analysis
|August 25, 2024
概括
MA-SAM通过结合3D信息来适应医疗图像的分段任何模型 (SAM). 该框架提高了CT,MRI和手术视频中的医疗图像细分性能,优于现有方法.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 计算机视觉 计算机视觉
背景情况:
- 分段任何模型 (SAM) 在自然图像细分方面表现出色,但由于域差异,它在医疗图像方面扎.
- 适应SAM用于医学成像需要整合3D (体积/时间) 信息,同时保留其强大的2D预训练重量.
研究的目的:
- 引入MA-SAM,一种模式不可知的框架,用于将SAM适应到各种3D医疗数据 (CT,MRI,手术视频).
- 通过注入3D适配器来利用SAM的2D骨干,以增强功能提取.
主要方法:
- MA-SAM采用参数高效的微调,更新最小的重量,以保持SAM的预训练知识.
- 3D适配器集成到SAM图像编码器的变压器块中,以处理体积和时间数据.
- 该框架的设计是模式不可知,适用于各种医学成像类型.
主要成果:
- 在使用11个公共数据集 (CT,MRI,手术视频) 的5个任务中,MA-SAM始终超过了最先进的3D细分方法.
- 与nnU-Net相比,在CT多器官 (0.9%),MRI前列腺 (2.6%) 和手术场景细分 (9.9%) 中获得了优异的Dice分数.
- 证明了强大的概括能力,特别是在具有挑战性的瘤细分任务中,即使是提示.
结论:
- MA-SAM有效地适应了SegmentAnything模型用于3D医疗图像细分,实现了卓越的性能.
- 该框架的模式不可知设计和参数有效的方法使其成为医疗AI的多功能工具.
- 在将基础模型应用于复杂的医学成像挑战方面,MA-SAM代表了重大进步.
