通过概率原型像素对比来减少域适应性语义细分中的语义模两可
Xiaoke Hao1, Shiyu Liu1, Chuanbo Feng1
1School of Artificial Intelligence, Hebei University of Technology, No. 5340, Xiping Road, Tianjin, 300401, China.
概括
本研究介绍了可能的原型像素对比 (PPPC),一种新的域调整框架. PPPC通过将像素嵌入模拟为概率来提高模型性能,有效地解决视觉数据中的模糊性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 域调整技术旨在减轻机器学习模型中的域转移引起的性能下降.
- 结合对比学习和自我训练的现有方法,由于确定性像素嵌入,与模两可的场景作斗争.
研究的目的:
- 提出一个通用域调整框架,即概率原型像素对比 (PPPC),通过解决像素级模糊性来提高表示质量.
- 在具有挑战性的领域适应任务中增强模型的稳定性和概括性.
主要方法:
- PPPC将每个像素嵌入模型作为使用多变量高斯分布的概率分布,捕捉固有的不确定性.
- 原型是从后面的概率估计得出的,以精细化决策边界,将它们推离模两可的区域.
- 使用一种计算分布相似性的高效方法,避免采样和重新参数化以减少计算开销.
- 模两可的图像作物被动态选择以增加对比学习中的边界点参与,从而导致更精确的类别分布.
主要成果:
- PPPC有效地解决了像素级的模两可,从而导致更具歧视性的表示.
- 在合成到真实和白天到夜晚的域调整任务中观察到显著的改进.
- 该框架在具有挑战性的白天到夜间适应场景中,比最先进的方法取得了+5.2% mIoU的改进.
- 在未见的数据集上展示了更强大的概括能力.
结论:
- 通过利用像素嵌入的概率模型,PPPC为域调整提供了强大而有效的解决方案.
- 拟议的方法显著提高了模型性能和概括性,特别是在具有显著域位移和视觉模两可的场景中.
- 该框架为领域适应和表示学习的未来研究提供了一个有希望的方向.
