基于变压器的蒙面自动编码器的参数高效微调增强了资源受限制的神经图像分析

科学领域:

• 人工智能的人工智能
• 神经成像是一种神经成像.
• 医学图像分析 医学图像分析

背景情况:

• 人工智能的基础模型越来越多地具有通用用途,与专业模型不同.
• 变压器架构是各种数据类型的基础模型的标准.
• 参数高效微调 (PEFT) 方法对于将模型适应专业任务至关重要,特别是在数据有限的医学成像中.

研究的目的:

• 在预训练的视觉变压器上评估各种PEFT方法,用于神经成像任务.
• 将PEFT性能与完全微调和从头开始的培训进行比较.
• 评估调整基础模型用于医学图像分析的效率和有效性.

主要方法:

• 预先训练了一个视觉编码器,使用基于变压器的蒙面自编码器 (MAE) 框架在T1加权的大脑MRI上.
• 使用不同的PEFT方法微调预训练的视觉转换器,显著降低可训练参数 (低至0.04%).
• 评估了阿尔茨海默病 (AD) 和帕金森病 (PD) 分类的表现,以及大脑年龄预测.

主要成果:

• PEFT方法与完全微调具有竞争力或性能优于完全微调,并且显著优于从头开始的培训.
• 通过PEFT方法,阿尔茨海默病的分类比完整微调提高了3%,而在有限数据的3D CNN上提高了11%.
• 较小的模型尺寸实现了竞争性测试性能,证明了效率.

结论:

• PEFT方法提供了一种高效和有效的方法来适应基础模型用于神经成像任务.
• 这些方法是培训专业模型的有价值的替代方案,特别是考虑到数据限制.
• 该研究强调了PEFT在各种神经成像应用中的潜力.