用有限的数据进行基于变压器的医疗图像分类的蒸方法

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 医疗成像医学成像

背景情况:

• 变压器深度学习模型提供灵活性,但在图像分类中与小数据集作斗争.
• 蒸技术在有限的数据上有望提高变压器性能.
• 蒸对基于变压器的分类准确性的特定影响需要进一步调查.

研究的目的:

• 利用有限的数据,研究蒸技术对变压器深度学习模型的分类性能的影响.
• 在脑MRI数据集上比较带有和没有蒸的变压器模型的性能.
• 分析蒸对精度和训练时间的影响.

主要方法:

• 使用的变压器模型是ViTx32和ViTx16 (没有蒸),以及DeiT和BeiT (带蒸).
• 在一个四类脑MRI图像数据集上训练和测试模型.
• 评估了每个架构的分类准确性和培训时间.

主要成果:

• 使用蒸的 DeiT 和 BeiT 模型相对于 ViTx16 实现了分别 2.2% 和 1% 的性能提升.
• 蒸技术提高了大约4%的非患者个体的检测.
• 对所有研究的架构进行了对训练时间的比较分析.

结论:

• 蒸技术大大提高了变压器深度学习模型的分类准确性,当应用于有限的数据集时.
• 结合蒸的变压器模型被推用于医学成像和其他领域,使用具有稀缺数据的灵活模型.
• 这些发现支持在数据有限的深度学习场景中更广泛地应用蒸.