预先训练的大视觉模型的低级调整,以改善肺结节恶性瘤分类

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 用自主监督学习 (SSL) 预训练的大视觉模型 (LVM) 显示出对医疗图像分析的希望.
• 调整这些模型用于特定任务,如肺结节恶性瘤分类至关重要,但具有挑战性.
• 传统的微调方法在计算上可能很昂贵,需要大量的数据集.

研究的目的:

• 调查低级适应 (LoRA) 的有效性,以适应SSL预训练的LVMs,以对肺结节恶性瘤进行分类.
• 与传统微调相比,评估LoRA对分类性能,参数效率和训练速度的影响.
• 探索LoRA在改善肺癌诊断准确度方面的潜力.

主要方法:

• 利用两个大型肺结节数据集 (NLSTx和LIDC) 与CT扫描.
• 应用了LoRA技术来适应SSL预训练的LVM.
• 与传统的微调方法对比LoRA适应的模型.

主要成果:

• 与最先进的模型相比,最适应LoRA的模型实现了ROC AUC的3%增加.
• 与传统微调相比,LoRA使用的参数比传统微调少89.9%.
• 使用LoRA,训练时间减少了36.5%.

结论:

• 洛拉是一种高度有效的方法,用于适应外域预训练的LVMs,以进行肺结节恶性瘤分类.
• 洛拉在性能,参数效率和训练速度方面提供了显著的改进.
• 这种方法为通过人工智能推进肺癌诊断提供了一个有希望的方向.