拥抱大自然数据:通过跨域微调增强医学图像分析

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 机器学习 机器学习

背景情况:

• 大规模的自然视觉数据集 (例如,ImageNet-21K,LAION) 具有先进的计算机视觉模型.
• 与自然图像域相比,较小的数据集大小阻碍了医学图像分析.
• 现有的模型在自然和医疗图像之间的域间隙中扎.

研究的目的:

• 提出一种新的方法来增强医疗图像分析,利用从大型自然数据集中预先训练的模型.
• 为了弥合自然和医学视觉数据之间的领域差距.
• 提高医学图像分析模型的效率和性能.

主要方法:

• 开发了一个跨域传输模块 (CDTM) 来从自然图像域传输特征到医学图像域.
• 一个分阶段微调 (SFT) 策略被设计成与CDTM协同工作.
• 在大型自然数据集上预训练的模型使用拟议的CDTM和SFT方法进行了微调.

主要成果:

• 拟议的方法在多个医学图像数据集上实现了最先进的性能.
• 从自然图像领域向医学图像领域证明有效的知识转移.
• 展示了对大型数据集进行预训练的模型的高效微调能力.

结论:

• 在大型自然数据集上利用预训练模型显著增强了医疗图像分析.
• 跨域传输模块 (CDTM) 和分阶段微调 (SFT) 策略对于医疗成像中的跨域传输是有效的.
• 拟议的方法提供了一个有前途的解决方案,以改善医疗图像分析有限的数据.