3DSAM-adapter:SAM从二维到三维的整体适应,用于快速的瘤细分

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 细分任何模型 (SAM) 在一般图像细分方面表现出强的表现,但在医学成像方面扎,特别是在瘤方面.
• 现有的SAM架构是基于2D的,这限制了其有效处理3D体积医疗数据的能力.
• 由于小物体大小,不规则的形状和低对比度,瘤细分存在挑战.

研究的目的:

• 开发一种用于调整2D SAM用于3D即时医疗图像细分的新方法.
• 为了提高SAM的精度和稳定性,在体积医学数据中对复杂瘤进行细分.
• 为医疗成像任务高效地利用预训练的SAM参数.

主要方法:

• 设计了一个新的架构修改方案,使SAM能够处理体积输入.
• 采用了参数有效的微调方法,结了大多数预先训练的参数,并引入了轻量级的空间适配器.
• 调整后的模型在四个开源瘤细分数据集上进行了训练和评估.

主要成果:

• 适应的3D SAM模型在瘤细分任务上显著超过了最先进的医疗图像和交互式细分模型.
• 该模型表现出有效性,尽管自然和医疗图像之间的域差距以及2D到3D空间过渡.
• 对大多数数据集的比较分析显示,与现有的流行的适配器方法相比,性能显著改善.

结论:

• 拟议的2D到3D适应方法有效地将SAM的功能转移到体积医学图像细分.
• 轻量化调整允许在自然图像上预训练的变压器捕捉医疗数据中的基本空间模式.
• 这种方法为准确和高效的快速医疗图像细分提供了有希望的解决方案,特别是在具有挑战性的瘤病例中.