多模式跨城市语义细分基于相似灵感的融合和可逆转型学习网络

科学领域:

• 计算机视觉 计算机视觉
• 遥感 遥感 遥感 遥感
• 机器学习 机器学习

背景情况:

• 多模式跨城市语义细分适应模型从标记的源域到不同城市的未标记的目标域.
• 由于遥感数据中的不同传感器模式,域移动具有挑战性.
• 传统的融合方法忽视了跨域信息和域转移控制.

研究的目的:

• 提出一种以相似性为灵感的融合和可逆转换学习网络 (SFITNet),用于多式联网跨城市语义细分.
• 为了应对在融合多式联运领域的特征对齐和领域转移方面的挑战.
• 改进语义细分模型适应新的城市环境,使用多种传感器数据.

主要方法:

• 开发了一个可逆转换学习策略 (ITLS),使用可逆神经网络 (INN) 进行分布对齐.
• 设计了一个跨领域相似性启发的信息交互模块 (CDSiM),以实现有效的多式联网信息融合.
• 实施了一个新型网络 (SFITNet),集成ITLS和CDSiM,用于无监督域调整.

主要成果:

• 与最先进的技术相比,SFITNet在C2Seg-AB和Su-Wu数据集上表现出卓越的性能.
• 拟议的ITLS有效地缓解了多式联通领域的调整困难.
• CDSiM成功地利用了互补的信息,并促进了融合域转移的对齐.

结论:

• 拟议的SFITNet有效地应对多式联运跨城市语义细分挑战.
• 该研究强调了跨域相似性和可逆转换对域适应的重要性.
• SFITNet提供了一种有前途的方法,可以将遥感模型适应于不同的城市环境.