适应FRCNet:为医疗图像细分提供频率和区域一致性的预训练模型的半监督适应

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 计算机视觉 计算机视觉

背景情况:

• 大型预训练模型 (LPM) 提供强大的特征表示,但由于参数数量大,标记数据有限,在医疗应用中面临挑战.
• 没有标记的医疗数据丰富,但未得到充分利用,这突显了对有效的半监督学习方法的需求.
• 参数效率微调 (PEFT) 对于将大型模型适应有限资源的特定领域至关重要.

研究的目的:

• 提出AdaptFRCNet,这是一个半监督的医疗图像细分框架,可以有效地微调LPM.
• 引入基于注意力的适配器 (Att_Adapter) 以参数有效地适应冷的LPM骨干.
• 开发新的一致性规范化策略,频域一致性 (FDC) 和多细分区域相似性一致性 (MRSC),用于半监督学习.

主要方法:

• 结预先训练的模型骨干,并插入基于注意力的轻量级适配器 (Att_Adapter) 以进行参数有效微调 (PEFT).
• 实现频域一致性 (FDC),以学习频域内的特征.
• 采用多细分区域相似性一致性 (MRSC) 来捕捉当地环境并实现区域级特征一致性.

主要成果:

• 在三个医学图像细分数据集上,AdaptFRCNet表现出显著的性能改进.
• 提出的方法通过半监督学习有效地利用未标记的数据.
• Att_Adapter,FDC和MRSC的组合可以有效地利用LPM功能.

结论:

• 通过半监督学习和LPMs,AdaptFRCNet提供了一种有效和高效的解决方案,用于医疗图像细分.
• 拟议的PEFT方法采用了新的一致性策略,解决了在医学领域应用LPM的局限性.
• 与现有的最先进技术相比,该方法显示出更高的性能,为更广泛的采用铺平了道路.