自主监督的预培训,使用对比和掩盖的自动编码方法来处理医疗成像深度学习中的小数据集

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 深度学习模型需要用于医学成像任务的大型注释数据集,由于注释的复杂性和数据访问限制,这些数据集往往很少.
• 自主监督学习 (SSL) 提供了一个解决方案,通过对未注释数据进行预训练模型,减少对大量手动注释的需求.
• 对比式学习是医学成像中的一个流行的SSL方法,但蒙面自动编码器正在成为一个有希望的替代方案.

研究的目的:

• 为了比较最先进的蒙面自动编码方法 (SparK) 与对比学习方法的性能,用于对医疗图像进行自我监督的预训.
• 为了评估这些SSL方法的稳定性,在微调小型,注释数据集时进行计算机断层扫描 (CT) 分类任务.
• 为了确定最有效的预培训策略,以医疗成像任务和有限的注释数据.

主要方法:

• 在一个大,没有注释的CT图像数据集上预训练卷积神经网络 (CNN),使用对比学习和Spark掩盖自编码器方法.
• 在多个CT分类任务上微调预训练模型,使用逐渐较小的注释数据集.
• 分析培训数据集大小减少对每个预培训方法的性能的影响.

主要成果:

• 在对较小的注释数据集进行微调时,Spark 掩盖自动编码器方法与对比学习方法相比,表现出更高的稳定性.
• 由于数据集大小减少而导致的性能下降,与Spark相比,与对比学习相比,Spark的表现不那么明显.
• 选择自主监督的预培训方法在数据稀缺条件下显著影响模型性能.

结论:

• SparK 蒙面自动编码器是用于医疗成像任务的高效自主监督预训方法,特别是在处理有限的注释数据时.
• 在数据有限的医学成像场景中,SparK提供了一个比对比学习更强大的解决方案,用于微调深度学习模型.
• 这些发现支持采用Spark来开发可靠的医学成像深度学习应用程序,其中注释数据集的获取具有挑战性.