承诺:即时驱动的3D医学图像细分使用预训练的图像基础模型

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 医学成像在数据采集和标签方面面临着挑战.
• 将学习从自然图像领域转移到医学图像领域是一个有前途的策略.
• 障碍包括对比差异,解剖学变异性和2D到3D适应.

研究的目的:

• 提出ProMISe,一个提示驱动的3D医疗图像细分模型.
• 为3D任务利用预训练的2D基础模型 (细分任何模型 - SAM) 的知识.
• 为了克服医疗图像分析领域的转移挑战.

主要方法:

• 使用SAM预训练的视觉转换器,配有轻量级适配器,用于3D上下文提取.
• 采用混合网络,配备互补编码器,以实现强大的特征提取.
• 包含一个边界感知损失函数,用于精确的细分边界.
• 使用单点提示符来实现高效的细分.

主要成果:

• ProMISe在结肠和胰腺瘤细分数据集上实现了卓越的性能.
• 在即时工程和非即时工程设置中超越最先进的方法.
• 证明了2D模型对3D医疗细分任务的有效适应.

结论:

• ProMISe为3D医疗图像细分提供了可行和有效的解决方案.
• 这种即时驱动的方法成功地弥合了自然和医疗图像之间的领域差距.
• 该模型从2D预训练模型中提取3D上下文的能力是关键的进步.