基于Swin变压器的边缘引导网络用于RGB-D突出物体检测
Shuaihui Wang1, Fengyi Jiang1, Boqian Xu1
1Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China.
Sensors (Basel, Switzerland)
|November 14, 2023
概括
本研究介绍了SwinEGNet,这是一个使用RGB-D数据进行突出物体检测 (SOD) 的新型网络. SwinEGNet利用Swin变压器捕捉全球背景,通过增强的功能融合和边缘指导优于现有方法.
科学领域:
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
- 图像处理 图像处理
背景情况:
- 突出物体检测 (SOD) 对计算机视觉至关重要.
- 使用卷积神经网络 (CNN) 的现有 RGB-D SOD 方法由于固有的局部性而受到性能限制.
- 需要采用能够捕捉全球背景并有效融合多模式特征的方法.
研究的目的:
- 为RGB-D SOD提出一个基于Swin变压器的新型边缘引导网络 (SwinEGNet).
- 通过整合全球上下文提取来解决基于CNN的方法的局限性.
- 通过边缘引导的交叉模式交互模块来增强特征融合.
主要方法:
- 采用Swin变压器作为从RGB和深度图像中提取特征的骨干.
- 引入了一个边缘提取模块 (EEM) 和一个深度增强模块 (DEM).
- 使用跨模态交互模块 (CIM) 集成全球和本地跨模态特征,随后使用级联解码器进行改进.
主要成果:
- 在LFSD,NLPR,DES和NJU2K数据集上,SwinEGNet实现了最先进的性能.
- 在STEREO数据集上与其他14种方法相比,证明了可比性能.
- 与SwinNet相比,通过显著减少参数 (88.4%) 和FLOP (77.2%) 实现了更高的性能.
结论:
- SwinEGNet有效地捕捉了全球背景,并增强了RGB-D SOD的功能融合.
- 拟议的边缘引导方法显著提高了检测准确性和效率.
- 该模型的性能和效率表明其对现实世界的计算机视觉应用的潜力.
