ProtoSAM-3D:通过SegmentAnything模型和面具级原型在体积医学成像中的交互语义细分

科学领域:

• 医疗图像分析 医学图像分析
• 计算机视觉 计算机视觉 计算机视觉
• 人工智能的人工智能是人工智能.

背景情况:

• 卷度语义细分对于医学图像分析至关重要,但目前的方法缺乏对新类的概括性,特别是对于像瘤这样的不规则目标.
• 像分段任何模型 (SAM) 这样的基础模型通过提示提供了概括,但牺牲了语义知识.
• 需要一个统一的方法,结合语义理解和SAM的灵活性,以实现全面的体积医学图像细分.

研究的目的:

• 引入ProtoSAM-3D,这是一个新的框架,扩展SAM用于体积医疗数据的语义细分.
• 为了使零/几次射击概括能够对未知或不规则的解剖结构和病理进行细分.
• 实现交互式和自动化的语义细分,而不会影响准确性.

主要方法:

• 开发了ProtoSAM-3D,这是一个使用面具级原型预测方法的模型.
• 利用一个空间意识的变压器将SAM编码器-解码器表示形式融合为全面的功能嵌入.
• 采用类似性计算与已知的原型进行分类,并为已知的类引入了自动提示方法.

主要成果:

• 在CT和MRI扫描中,ProtoSAM-3D在多器官细分任务上展示了最先进的零/少数镜头性能.
• 该模型与完全监督的细分方法相比,取得了竞争性结果.
• ProtoSAM-3D 在适应新课程的灵活性方面表现出极少的再培训.

结论:

• ProtoSAM-3D成功地将语义理解与SAM的提示驱动灵活性统一为体积医学图像细分.
• 拟议的方法为医疗成像的交互和可概括的语义细分模型提供了重要的一步.
• 这一进步支持定量分析和精准医学,通过使各种解剖结构和病理的强大细分成为可能.