为RGB-D突出物体检测和超越RGB-D突出物体检测提供脱的交叉模式变压器

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 用于RGB-D突出物体检测 (SOD) 的多模转换器经常直接融合特征,由于模式差距,导致效率低下和模两可的结果.
• 现有的方法很难有效地建模交叉模式的相关性,并将来自不同来源的信息结合起来,而没有明确的区分.

研究的目的:

• 提出一种新的解特征金字塔 (DFP) 模块,以减少RGB-D突出物体检测中的交叉模式融合模糊性.
• 将跨模式互补性分离到上下文和表示层面,以实现更具信息性的功能集成.
• 提高融合适应性,提高突出物体检测模型的性能.

主要方法:

• 背景解:通过空间对齐的模式间关注来分离用于模式内自我注意的远程互补背景和局部相关性.
• 代表解:将代币分为一致和私有道,以明确促进互补信息和解整合路径.
• 逐步传播DFP模块跨层面的增强跨模式,跨层面的整合.

主要成果:

• 拟议的解特征金字塔 (DFP) 模块显著减少了跨模式的融合模两可.
• 在多个公共数据集上的实验表明,与最先进的SOD模型相比,它们得到了持续的改进.
• DFP模块显示了插电功能,增强了变压器和CNN骨干,用于各种下游任务.

结论:

• 解开跨模态上下文和表示对于有效的RGB-D突出物体检测至关重要.
• DFP模块提供了一种灵活和适应性的多模式融合方法,优于现有方法.
• 拟议的方法可以很好地对不同的架构和任务进行概括,包括RGB-D语义细分.