CurriMAE:基于课程学习的蒙面自动编码器,用于多标签的儿科胸部疾病分类

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 医疗成像医学成像

背景情况:

• 蒙面自动编码器 (MAE) 对于自主监督学习是有效的,但需要广泛的超参数调整,特别是对掩盖比率.
• 与优化掩盖比率相关的高计算成本限制了MAE在医学成像中的实际应用.

研究的目的:

• 引入CurriMAE,这是一个基于课程的MAE培训策略,可以优化计算效率和模型性能.
• 通过逐步增加掩盖比率来减少MAE预训的计算开销.

主要方法:

• CurriMAE采用课程学习方法,在800个时代中,逐渐将掩盖比率从60%提高到90%.
• 每200个时代重新设置一次的循环共弦值学习速率调度器,确保在四个不同的训练阶段之间稳定融合.
• 快照模型在每个阶段结束时被保存,以进行后续的微调.

主要成果:

• 与ResNet,ViT-S和标准MAE相比,CurriMAE在多标签儿科胸部疾病分类中表现优越.
• 建议的方法在CheXpert和胸部X射线上进行预训练后,在PediCXR数据集上实现了更好的分类准确性14.
• 在预训练阶段,CurriMAE显著降低了计算成本.

结论:

• CurriMAE为医学成像分析提供了一个有效和可扩展的自我监督学习框架.
• 基于课程的渐进式掩盖策略为传统的MAE培训提供了一个计算效率高的替代方案.
• 这种方法有望促进人工智能在诊断儿科胸部疾病方面的应用.