通过知识蒸重新审视域适应性语义细分

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 无监督域调整 (UDA) 对于语义细分至关重要,自监督的方法显示出有前途.
• 现有的自我训练UDA方法有风险传播从伪基础真理 (PGT) 到教师模型的不准确性.
• 教师模型中的指数移动平均值 (EMA) 更新仍然可能导致错误传播.

研究的目的:

• 提出一种新的UDA方法用于语义细分,使用两个不同的教师模型.
• 为解决不准确的PGT和教师模型更新在自培训UDA中的问题.
• 为了利用知识蒸 (KD) 原则来改善语义细分中的UDA.

主要方法:

• 一个新的UDA方法,采用两种教师模型:一个是EMA更新的PGT生成,另一个是结的,预先训练的教师,用于特征空间知识传递.
• 利用一个结的教师模型,具有潜在的更大的代表权力,不受架构的约束.
• 从KD的角度重新审视自我训练的UDA.

主要成果:

• 拟议的方法增强了目标领域的语义细分性能,跨越各种骨干和场景.
• 在不同的实验设置中证明了可扩展性 (GTA5 → Cityscapes,SYNTHIA → Cityscapes).
• 实现与最先进的方法相比或优于其性能,即使使用轻量级的骨架.

结论:

• 双教师模型方法有效地减轻了PGT中的不准确性,并改善了教师模型的更新.
• 这种方法为语义细分中的无监督域调整提供了一个可扩展和强大的解决方案.
• 拟议的技术展示了KD启发的战略在推进UDA研究方面的潜力.