斯温-UMamba†:适应基于Mamba的视觉基础模型用于医疗图像细分

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 计算机视觉 计算机视觉

背景情况:

• 视觉基础模型提高了医疗图像细分中的概括性和数据效率.
• 目前的基于变压器的模型由于高二次复杂性和大参数数量而在计算上昂贵,限制了临床应用.
• 由于注释成本和隐私问题,医疗图像数据集很小.

研究的目的:

• 介绍Swin-UMamba,一种基于Mamba的新型模型,用于高效的医疗图像细分.
• 在视觉基础模型框架内,利用Mamba线性复杂性的计算效率.
• 调查和验证视觉基础模型对医学图像细分的影响,弥合自然和医学数据之间的差距.

主要方法:

• 开发了Swin-UMamba,这是一个基于Mamba的模型,整合了视觉基础模型原则.
• 实施了自我监督的模型适应方案,以调整自然和医疗图像数据.
• 评估了Swin-UMamba与7种最先进的方法对腹腔MRI,内镜和显微镜数据集进行评估.

主要成果:

• 与基于CNN,基于变压器和其他基于Mamba的方法相比,Swin-UMamba表现出卓越的性能.
• 该模型在医疗图像细分任务中实现了高通用性和数据效率.
• 在多个医学成像数据集中超越了7种现有的最先进的方法.

结论:

• 斯温-UMamba为医疗图像细分提供了一个计算高效和有效的替代方案.
• 整合到视觉基础模型中的Mamba架构显示了临床应用的重大前景.
• 自主监督的适应方案成功地弥合了自然和医学成像数据之间的领域差距.