EM-Trans:用于RGB-D突出的物体检测的边缘感知多式变压器

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• RGB-D突出物体检测 (SOD) 是一个不断增长的研究领域.
• 变压器对SOD有希望,但往往忽略了关键的边缘信息,限制了精度.
• 现有的方法很难有效地整合多式联运信息以获得精确的SOD.

研究的目的:

• 提出一种新的边缘感知RGB-D SOD变压器 (EM-Trans),可以明确模拟边缘信息.
• 通过解决现有变压器模型的局限性,提高突出物体检测的准确性.
• 为了增强多式联运特征的融合,以获得更强大的SOD性能.

主要方法:

• 开发了EM-Trans,这是一种使用双频分解框架的边缘感知变压器.
• 使用并行解码器用于高频边缘和低频机身特征提取.
• 引入了交叉注意力互补性和色彩提示引导的融合模块,以丰富和增强功能.
• 使用深度监督的渐进融合模块来整合边缘和车身特征.

主要成果:

• EM-Trans有效地建模边缘信息,克服了先前方法的局限性.
• 拟议的模型在RGB-D SOD基准数据集上实现了最先进的性能,无论是定量还是质量.
• 证明了该模型在更广泛的多式联运SOD任务中的潜力,包括RGB-TSOD.

结论:

• 在RGB-D突出物体检测中,EM-Trans代表了显著的进步.
• 明确地纳入边缘信息对于提高SOD准确性至关重要.
• 拟议的架构为多式联运SOD的未来研究提供了一个有希望的方向.