走向基础模型和对体积器官细分的几个镜头参数高效微调

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 计算机视觉 计算机视觉

背景情况:

• 基础模型和预训练和适应范式对于体积医学图像细分越来越受欢迎.
• 转移学习的完整微调策略可能是资源密集型的,并且在有限的标记数据下表现不佳,阻碍了临床应用.

研究的目的:

• 为了正式制定Few-Shot高效微调 (FSEFT) 作为适应医疗图像细分基础模型的现实场景.
• 为了应对数据和参数效率在调整基础模型医疗图像细分的挑战.

主要方法:

• 利用在CT器官细分数据上预先训练的基础模型.
• 使用了参数高效微调和黑盒适配器,以实现高效的适应.
• 引入了新的空间黑子适配器,用于密集的预测任务和传导推理,结合特定任务的先前知识.

主要成果:

• 证明了基础模型对于医学图像细分的适用性.
• 突出了一些热门的微调策略在短暂的场景中的局限性.
• 展示了提出的高效适应方法的有效性.

结论:

• 基础模型对于医疗图像细分是有效的,但高效的适应技术对于具有有限数据和资源的现实临床环境至关重要.
• 使用参数高效微调和新型适配器的FSEFT提供了一个可行的方法,可以在数据限制下适应这些模型.