DVPT:用于医疗图像分析的大型预训练模型的动态视觉快速调整
Along He1, Yanlin Wu1, Zhihong Wang1
1College of Computer Science, Tianjin Key Laboratory of Network and Data Security Technology, Nankai University, Tianjin, 300350, China.
概括
动态视觉提示调整 (DVPT) 为医学成像提供了高效的参数效率微调. 这种新的方法提高了模型适应性和数据效率,以最小可训练参数优于现有技术.
科学领域:
- 人工智能的人工智能
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
背景情况:
- 大型预训练模型为医疗任务提供了丰富的表示.
- 当前的微调方法 (完全或特定层) 忽视了医疗图像的变化,影响了效率和有效性.
- 参数有效微调 (PEFT) 对于将模型适应专业领域至关重要.
研究的目的:
- 探索用于医疗图像分析的参数有效微调 (PEFT).
- 引入一种新的方法,即动态视觉提示调整 (DVPT),以从大型模型中高效地提取知识.
- 加强预训练模型适应医疗领域,提高数据效率.
主要方法:
- 开发了动态视觉提示调 (DVPT),一种新的PEFT方法.
- DVPT使用轻量级的瓶层来转换结的特征,用于域特定的分布学习.
- 通过转换特征和动态视觉提示之间的交叉注意力来学习样本特定的特征,在变压器层中共享.
主要成果:
- DVPT有效地将预先训练有素的模型调整为医疗成像任务.
- 与最先进的PEFT方法相比,实现了更高的性能,并对医疗分类和细分进行了全面的微调.
- 通过最小可训练参数 (0.5%) 显著改进,提高数据效率并降低存储成本.
结论:
- DVPT为医疗图像分析提供了有效和高效的PEFT策略.
- 该方法显著提高了模型性能和数据效率,特别是在有限的标记数据的情况下.
- 在医疗领域,DVPT为利用大型预训练模型提供了一个有前途的方法,减少计算和存储开销.
