利用 2D 深度学习 ImageNet 训练模型进行原生 3D 医学图像分析
Bhakti Baheti1,2,3, Sarthak Pati1,2,3,4, Bjoern Menze4,5
1Center for Biomedical Image Computing and Analytics (CBICA), University of Pennsylvania, Philadelphia, PA, USA.
概括
利用2D预训练模型与轴-冠状-刺骨 (ACS) 卷积显著改善了3D医学成像AI. 这种方法减少了模型大小,并提高了诸如脑瘤细分和分类等任务的准确性.
科学领域:
- 医疗成像中的人工智能
- 计算机视觉 计算机视觉
- 为医疗保健提供深度学习.
背景情况:
- 卷积神经网络 (CNN) 在二维计算机视觉方面表现出色,但由于数据集的大小和多样性有限,它们在3D医疗数据方面遇到了困难.
- 转移学习提供了一个解决方案,通过调整训练有素的模型从一个任务到另一个任务,这对于数据稀缺的医学成像领域至关重要.
研究的目的:
- 探索使用2D预训练模型作为3D医学成像应用的基础的有效性.
- 引入和评估轴冠状动脉 (ACS) 卷曲,作为一般微妙的深度学习框架 (GaNDLF) 中原生3D卷曲的替代方案.
主要方法:
- 将ACS卷积集成到GaNDLF框架中,使得2D预训练编码器可以用于3D网络架构.
- 实验评估了来自脑瘤患者的3DMRI数据的方法,用于细分和放射基因组分类任务.
- 与标准3D卷积神经网络的性能进行比较,没有预先训练.
主要成果:
- 实现了大约22%的模型尺寸缩小.
- 在细分和分类任务中,验证准确度大约提高了33%.
- 展示了使用预训练的2D CNNs与ACS卷曲的优势,而不是未经预训练的3D CNNs.
结论:
- 轴-冠状-刺骨 (ACS) 卷曲有效地利用2D预训练模型进行3D医学成像任务,提高性能和减少模型大小.
- 这种方法使医疗保健人工智能中大规模预训练模型的使用变得民主化,为推进医疗图像分析提供了一个有前途的途径.
- 这些发现突出了ACS卷曲的潜力,以增强AI模型开发在数据有限的3D医学成像场景.
