RCRFNet:通过自主监督的雷达-摄像机融合和开放式识别来增强对象检测.
Minwei Chen1, Yajun Liu1, Zenghui Zhang1
1Shanghai Key Laboratory of Intelligent Sensing and Recognition, Shanghai Jiao Tong University, Shanghai 200240, China.
Sensors (Basel, Switzerland)
|August 10, 2024
概括
这项研究引入了一个雷达-摄像头融合网络 (RCRFNet),用于在自动驾驶中进行强大的物体检测. 该网络在可见性较差方面脱而出,并通过结合毫米波雷达和视觉数据来检测未知物体.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 传感器融合式传感器
背景情况:
- 由于复杂的环境和可见度差,自动驾驶在物体检测方面面临挑战.
- 毫米波 (mmWave) 雷达和视觉传感器提供补充数据,以改善感知.
- 现有的融合方法在稳定性和检测新奇或未知的物体方面扎.
研究的目的:
- 开发一个强大的雷达-摄像头融合网络 (RCRFNet),用于自动驾驶中增强对象检测.
- 利用自主监督学习和开放式识别来提高传感器数据的利用率.
- 为应对视觉条件不佳和开放场景带来的挑战.
主要方法:
- 提出了雷达-摄像机稳健融合网络 (RCRFNet).
- 采用frustum关联方法对匹配的雷达摄像头数据进行匹配,以产生自我监督的信号.
- 集成全球和本地深度一致性与图像特征,以获得对象类的信心.
- 使用多层特征提取骨干和多式联运检测头.
主要成果:
- 在nuScenes数据集上,与最先进的方法相比,RCRFNet表现出更高的性能.
- 实现强大的物体检测,特别是在视觉可见度低的条件下.
- 通过构建对象类置信级别,有效检测未知类对象.
结论:
- 拟议的RCRFNet在挑战自动驾驶场景中显著提高了对象检测的稳定性.
- 自主监督学习和开放式识别是雷达-摄像头融合的有效策略.
- 该方法显示出在不利条件下对现实世界的部署有希望.


