360SFUDA++:通过学习可靠的类型原型来实现全景细分的无源UDA
IEEE transactions on pattern analysis and machine intelligence
|November 4, 2024
概括
本研究介绍了360SFUDA++用于语义细分的无源无监督域调整,使知识从针孔转移到全景图像. 该方法克服了领域差距,使用新的投影和适应模块来提高性能.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 没有源数据的无监督域调整 (SFUDA) 对于在没有源数据的域之间转移知识至关重要.
- 针孔到全景的语义细分面临着由于不同的视野 (FoV),风格差异和全景图像扭曲的挑战.
研究的目的:
- 开发一种有效的SFUDA方法,用于针孔到全景的语义细分.
- 在域调整中解决语义不匹配,风格差异和扭曲挑战.
主要方法:
- 拟议的360SFUDA++使用触角投影 (TP) 和固定FoV投影 (FFP) 来提取知识.
- 引入了可靠的全景原型适应模块 (RPAM),用于预测和原型层面的知识转移.
- 集成的交叉投影双重注意模块 (CDAM) 用于跨投影的特征对齐.
主要成果:
- 360SFUDA++有效地从针孔模型提取和转移知识到全景领域.
- RPAM和CDAM模块有助于可靠的知识适应和交叉投影对齐.
- 与以前的SFUDA方法相比,在合成和现实世界的基准上取得了明显更好的表现.
结论:
- 360SFUDA++展示了SFUDA在针孔到全景语义细分中的强大的解决方案.
- 拟议的模块有效地应对特定领域的挑战,从而产生最先进的结果.
- 该方法在各种室内和室外场景中显示出强烈的概括性.


