Infra-3DRC-FusionNet:路边安装的RGB单摄像头和用于交通用户检测的三维汽车雷达的深度融合
Shiva Agrawal1, Savankumar Bhanderi1, Gordon Elger1,2
1Institute of Innovative Mobility (IIMo), Technische Hochschule Ingolstadt, 85049 Ingolstadt, Germany.
Sensors (Basel, Switzerland)
|September 19, 2025
概括
这项研究引入了一种新的深度神经网络,用于通过路边智能基础设施增强道路用户检测. 它在管道的早期融合了摄像头和雷达数据,在具有挑战性的条件下显著提高了检测准确性.
科学领域:
- 计算机视觉 计算机视觉
- 传感器融合式传感器
- 人工智能的人工智能
背景情况:
- 强大的道路使用者检测对于智能基础设施至关重要.
- 目前的晚期聚变方法在不利的条件下扎.
- 现有的深度核聚变研究仅限于基于车辆的设置.
研究的目的:
- 提出一种新的深度神经网络,用于相机和雷达数据的早期融合.
- 为了增强道路智能基础设施的交通用户检测.
- 在不利的环境条件下解决晚期聚变方法的局限性.
主要方法:
- 开发了一个深度神经网络,用于RGB相机图像和3D汽车雷达点云的联合融合.
- 利用投射的雷达点来生成用于指导预测的图像.
- 实现了雷达点的实例细分和用于地面平面检测的后处理.
主要成果:
- 在各种条件下实现了92%的精度,78%的回忆率和85%的F1得分.
- 与对象级空间融合相比,在精度方面表现出显著的绝对改进,精度为33%,回忆率为6%,F1得分为21%.
- 成功检测到摄像头无法看到的区域的道路使用者.
结论:
- 提议的早期深度融合方法提高了路边智能基础设施的道路用户检测精度.
- 与传统的晚期聚变方法相比,这种方法提供了更高的性能,特别是在不利的条件下.
- 这种新型网络有效地利用互补的传感器数据来进行可靠的交通监控.
