具有深度完成的多任务前景意识网络,用于基于变压器的增强RGB-D融合对象检测
Jiasheng Pan1, Songyi Zhong2,3, Tao Yue2
1School of Computer Engineering and Science, Shanghai University, No. 99 Shangda Road, Shanghai 200444, China.
Sensors (Basel, Switzerland)
|April 13, 2024
概括
本研究介绍了一个基于变压器的神经网络,用于增强自动驾驶感知. 该模型通过合并LiDAR和摄像头数据来改善对象检测,特别是对于小型和遥远的目标.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能
背景情况:
- 自动驾驶系统依赖于传感器融合,主要是LiDAR和摄像头,用于目标识别.
- 传统的方法在稀疏的LiDAR数据中扎,阻碍了小或遥远物体的检测.
研究的目的:
- 开发一个多任务并行神经网络,同时完成深度检测和对象检测.
- 改进LiDAR和摄像头数据的融合,以实现更强大的自动驾驶感知.
主要方法:
- 设计了一个基于变压器的多任务并行神经网络.
- 重新设计的损失功能,以尽量减少环境噪音在深度完成.
- 引入了一种新的融合模块,以增强前景和背景的感知.
主要成果:
- 该网络有效地使用RGB像素相关性完成LiDAR点云,解决特征不匹配问题.
- 实现了显著的性能改善:汽车4.78%,行人8.93%,骑自行车的人15.54%.
- 演示了每秒38 (fps) 的处理速度,表明了效率.
结论:
- 拟议的方法通过有效地融合多传感器数据,增强了对象检测,特别是对于具有挑战性的目标.
- 该网络能够同时完成深度测试和对象检测,为自动驾驶提供了可行和高效的解决方案.


