SePiCo:用于域自适应语义细分的语义引导的像素对比

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 域自适应语义细分旨在预测未标记目标数据的像素级标签,使用在标记源数据上训练的模型.
• 使用伪标签进行自我训练是一种常见的方法,但现有的方法往往忽视了像素表示中类内紧性和类间分散性的重要性.
• 这种监督导致处理跨域语义变化的挑战,并导致结构差的嵌入空间,阻碍了概括.

研究的目的:

• 提出语义指导的像素对比 (SePiCo),一个新的一个阶段的域调整框架用于语义细分.
• 通过学习跨领域的阶级歧视和阶级平衡的像素表示来增强自我训练方法.
• 解决现有方法在处理杂的伪标签和跨领域变异方面的局限性.

主要方法:

• SePiCo采用中心点感知像素对比度来引导特征学习,使用源域中的类别中心点.
• 它引入了分布意识的像素对比,通过从源数据统计数据中近似分类分布来捕捉足够数量的实例.
• 该框架优化了像素表示,以提高类内紧性和类间分散性,从而实现计算效率高的适应.

主要成果:

• SePiCo稳定了域自适应语义细分的培训过程.
• 该方法产生了高度分辨的像素表示,在合成到真实和白天到夜间适应场景中显著提高了性能.
• 实验结果表明,在解决跨领域的语义变化和增强概括方面取得了重大进展.

结论:

• 通过专注于像素级别的语义关系,SePiCo有效地解决了以前域调整方法的局限性.
• 提出的对比式学习方法提高了伪标签的质量和嵌入空间的结构.
• SePiCo提供了一个有前途的方向,用于提高多样化,未标记的目标域中的语义细分的稳定性和准确性.