针对未对齐的RGB-T语义细分的变形弹性多细分学习

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 图像处理 图像处理

背景情况:

• 语义细分 (SS) 通常需要对齐的RGB-热 (RGB-T) 图像对.
• 现实世界的RGB-T数据往往不对齐,对现有的SS方法构成重大挑战.
• 不对齐的RGB-T图像的像素级对齐是计算密集和困难的.

研究的目的:

• 为了解决语义细分中未对齐的RGB-T图像对的挑战.
• 引入一个新的基准数据集,用于非对齐的RGB-TSS.
• 为强大的RGB-T SS.提出一种抗变形多颗粒度学习 (DML) 方法.

主要方法:

• 开发了一个新的非对齐的RGB-T SS基准数据集.
• 提出了对变形弹性多粒度学习 (DML) 方法.
• 引入了一个变形感知互补特征增强器 (DCFE) 与变形感知特征对齐 (DFA) 和互补特征聚合 (CFA) 模块.
• 设计了一个多颗粒度面具精制引擎 (MMFE),结合了无类突出性预测 (CSP) 和类意识边缘生成 (CEG).

主要成果:

• DML方法有效地将多式联运特征与粗到细的策略对齐,减轻扭曲方式的干扰.
• DFA估计了变形场,以改善空间对齐,而CFA则汇总了跨尺度的互补上下文信息.
• MMFE增强了语义对齐和类间的分离性,产生了具有清晰边界的对象口罩.
• 实验表明,与现有方法相比,在对齐和不对齐的数据集上,DML的性能优越.

结论:

• 拟议的DML方法为使用非对齐的RGB-T图像对进行语义细分提供了强大的解决方案.
• 新的基准标准有助于研究处理现实世界,错位的多式联络成像数据.
• DML取得了最先进的结果,突出了解决RGB-T SS中的模式调整的重要性.