MambaSAM:用于医疗图像细分的视觉Mamba适应的SAM框架.

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 分段任何模型 (SAM) 证明了在自然图像细分中的广泛适用性.
• 由于复杂的解剖学和特定领域的数据,医疗图像细分存在独特的挑战.
• 现有的模型往往需要特定的输入,限制了自主应用.

研究的目的:

• 通过调整SegmentAnything Model (SAM) 来开发医疗图像的高级细分框架.
• 增强细分任何模型 (SAM) 的能力,以准确地细分医疗图像中的复杂细节.
• 创建一个自主医疗图像细分模型,尽量减少手动输入,提高效率.

主要方法:

• 提出了一个新的VMamba适配器框架,将轻量级的Visual Mamba (VMamba) 分支与预训练的SAM ViT编码器集成在一起.
• 引入了跨行业关注 (CBA) 机制,以实现SAM和VMamba之间的有效交互和功能融合.
• 通过消除对提示驱动输入的需求,开发了一个自主预测模型,简化了细分工作流.

主要成果:

• 在四个医学图像数据集中,VMamba适配器框架实现了最先进的性能.
• 与AutoSAM相比,ACDC数据集显著改善,平均Dice系数增加0.18和Hausdorff距离减少20.38毫米.
• 该方法需要最小的额外可训练参数,为医疗图像细分提供了有效的解决方案.

结论:

• 拟议的VMamba适配器框架有效地增强了医疗图像分割任务的分段任何模型 (SAM).
• 自主,高效和准确的细分能力代表了临床应用的重大进步.
• 这种方法为在专业医学成像领域利用大型基础模型提供了一个有希望的方向.