嵌入式提示调整:针对医疗图像预训练模型的增强校准

科学领域:

• 人工智能的人工智能
• 医学图像分析 医学图像分析
• 计算机视觉 计算机视觉

背景情况:

• 基础模型在自然成像方面表现出色,但需要有效适应医疗成像等专业领域.
• 参数有效微调 (PEFT) 方法通过更新最小的模型参数来降低计算成本.
• 在跨领域的PEFT的有效性,几个镜头的医学图像分析仍然未被充分研究.

研究的目的:

• 调查PEFT方法在调整基础模型用于医学图像分类方面的性能.
• 提出一种新的PEFT方法,即嵌入式快速调 (EPT),解决现有的快速调技术的局限性.
• 为了提供一个新的视角,即时调整作为基础模型的分布校准器.

主要方法:

• 通过将提示令牌集成到基础模型的扩展道中,开发了嵌入式提示调整 (EPT).
• 在基础模型中调查的异常特征是在预训练期间的空间分布.
• 分析了EPT的补丁智能缩放和特征分离操作,以了解其机制.

主要成果:

• 与最先进的微调方法相比,EPT在少数镜头医学图像分类中表现出更高的性能.
• EPT实现了极具竞争力的微调时间,突出其计算效率.
• 快速调整,特别是EPT,被证明可以减轻训练前特征空间异常带来的负面影响.

结论:

• EPT是一种有效的PEFT方法,用于跨领域的少数镜头医学图像分类.
• EPT为传统微调提供了一个计算效率高,性能高的替代方案.
• 快速调整作为一个有价值的分布校准器在专业应用中的基础模型.