释放伪标签潜力和对齐,用于远程传感图像细分中的未配对交叉模式适应

科学领域:

• 遥感 遥感 遥感 遥感
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 多源传感器技术推动了远程传感 (RS) 图像细分中的多模式学习需求.
• 目前的方法与大规模的配对样本作斗争,特别是当光学图像有注释,但合成光圈雷达 (SAR) 图像没有时.
• 这种数据缺口阻碍了从光学对应器中学习SAR图像的区分特征,需要无监督域适应 (UDA).

研究的目的:

• 为RS图像细分中的未配对交叉模式UDA提出一个新的单阶段适应框架,即解锁伪标签潜力和对齐 (ULPA).
• 通过有效地利用一种模式的可用注释来增强跨模式的知识转移,以适应另一种模式的模型.
• 解决RS中不同传感器模式中从有限或未配对的数据中学习的挑战.

主要方法:

• 开发了ULPA框架,用于RS图像细分中的未配对交叉模式适应.
• 采用了原型多域对齐 (PMDA) 策略,在不同模式的相同类的特征和原型之间使用对比学习.
• 引入了不可靠样本指导特征对比 (UFC) 损失,以提高不可靠像素的利用率,通过根据预测信心将它们分开,并将它们用作负样本.

主要成果:

• 拟议的ULPA框架,整合PMDA和UFC损失,证明了有效的跨模式域调整.
• 该方法显著提高了RS图像细分模型的概括能力.
• 实验证实了在未配对的交叉模式数据的场景中增强的性能.

结论:

• ULPA框架为远程传感图像细分中的未配对交叉模式UDA提供了强大的解决方案.
• 结合PMDA和UFC损失有效地弥合了模式差距,并改善了模型概括性.
• 这种方法促进了在多式联机数据集中的更有效的知识传输,具有有限的配对注释.