多重注意力机制基于RGB和LiDAR融合的3D物体检测算法,用于智能驾驶
Xiucai Zhang1, Lei He1, Junyi Chen1
1State Key Laboratory of Automotive Simulation and Control, Jilin University, Changchun 130022, China.
Sensors (Basel, Switzerland)
|November 14, 2023
概括
本研究介绍了一种基于注意力的多式联络融合算法,用于3D目标检测,使用摄像头和点云数据提高准确性. 这种新的方法显著提高了各种指标和对象类型的检测性能.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 自主系统 自主系统
背景情况:
- 对于自主系统来说,3D目标检测至关重要.
- 现有的方法往往难以有效地融合多式联络传感器数据.
- 注意力机制为改善特征融合提供了潜力.
研究的目的:
- 开发使用注意力机制的多式融合3D目标检测算法.
- 通过整合摄像头和点云数据来提高3D目标检测的性能.
- 在基准数据集上评估拟议的算法的有效性.
主要方法:
- 使用ResNet50 + FPN用于图像特征提取和基于voxel的FCN用于点云特征提取.
- 实现区域点融合和voxel融合,用于多式联运数据集成.
- 应用协调和SimAM注意力机制用于深层融合特征提取.
主要成果:
- 与A2部分和第二部分相比,拟议的算法显示了平均平均精度 (mAP) 的显著改进.
- 在特定的交叉点上实现了7.9% (BEV) 和7.8% (3D) 的绩效增长,超过部分A2在欧盟 (IOU) 门上.
- 在不同IOU值下,与SECOND相比,表现出5.4% (BEV) 和4.3% (3D) 的改善.
结论:
- 与注意力机制相结合的多式融合方法有效地增强了3D目标检测.
- 该算法在检测汽车,行人和骑自行车的人方面表现出卓越的性能.
- 这种方法为改善自动驾驶系统的感知提供了一个有希望的方向.
