分割与统治:用于RGB-T突出物体检测的汇聚式三流网络

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 图像处理 图像处理

背景情况:

• RGB-T热突出物体检测 (RGB-T SOD) 旨在识别可见和热图像中的突出物体.
• 现有的方法在跨模式差异和对缺陷传感器数据的稳定性方面扎,限制了复杂场景中的性能.
• 人类层次视觉系统激发了强大的多模式功能集成的新方法.

研究的目的:

• 提出ConTriNet,一个强大的共流三流网络用于RGB-T SOD.
• 通过有效地弥合RGB和热模式的差距并提高稳定性来增强突出性地图预测.
• 引入一个新的基准数据集 (VT-IMAG) 来评估在具有挑战性的现实条件下RGB-T SOD性能.

主要方法:

• ConTriNet采用一个统一的编码器和专门的解码器,使用"划分与征服"策略来获得模式特定和补充信息.
• 关键组件包括一种模式诱导的特征调制器 (MFM),用于减少模式间的差异,一种用于多尺度环境的剩余体空间金字塔模块 (RASPM),以及一种模式意识的动态聚合模块 (MDAM).
• 一个流程合作的融合策略从平行三重流程 (两个模式特定的,一个互补的) 改进了突出地图,以获得高分辨率的输出.

主要成果:

• 在公共基准和新的VT-IMAG数据集上,ConTriNet表现优于最先进的方法.
• 拟议的网络表现出显著的稳定性和稳定性,即使它呈现出不完整或有缺陷的模式数据.
• 实验证实了三流架构及其专门模块在捕获突出对象信息方面的有效性.

结论:

• 对于RGB-热突出物体检测,ConTriNet提供了一个强大而有效的解决方案,其性能优于现有的方法.
• "划分与征服"战略和新型模块成功地解决了跨模式的挑战,并提高了检测准确性.
• 开发的VT-IMAG数据集为推进对具有挑战性的RGB-T SOD场景研究提供了宝贵的资源.