SMIFormer:通过多视图交互式变压器从4D成像雷达学习空间特征表示,用于从4D成像雷达检测3D物体
Weigang Shi1, Ziming Zhu2, Kezhi Zhang2
1School of Automotive Studies, Tongji University, Shanghai 201804, China.
Sensors (Basel, Switzerland)
|December 9, 2023
概括
本研究介绍了SMIFormer,这是一种用于4D成像雷达的新型网络,通过融合多视图数据 (鸟眼,正面,侧面) 来增强自动驾驶,以克服点云稀疏性和噪声,以改进3D对象检测.
科学领域:
- 机器人技术和自主系统
- 计算机视觉 计算机视觉
- 传感器融合式传感器
背景情况:
- 4D毫米波 (mmWave) 成像雷达为自动驾驶提供了具有成本效益和耐天气的传感.
- 挑战包括稀疏和杂的点云,限制实际应用.
- 现有的方法在单视图数据中缺乏足够的特征表示方面扎.
研究的目的:
- 推出SMIFormer,一个用于4D雷达的多视图功能融合网络.
- 为了解决4D雷达数据中稀疏和杂的点云的局限性.
- 为了提高自动驾驶系统中的3D物体检测性能.
主要方法:
- 开发了SMIFormer,这是单模4D雷达输入的网络框架.
- 将3D场景解成鸟视图 (BEV),前视图 (FV) 和侧视图 (SV).
- 拟议的多视图功能交互 (MVI) 用于内视图和交叉视图功能集成.
主要成果:
- 在View-of-Delft (VoD) 数据集上评估的SMIFormer.
- 在完全注释的区域实现了48.77%的平均精度 (mAP).
- 在驾驶走廊区域达到71.13%的mAP.
结论:
- 通过集成多视图雷达数据,SMIFormer有效地建模了3D场景.
- 多视图方法克服了由稀疏点云引起的单视图限制.
- 4D雷达显示了在自动驾驶中推进3D物体检测的巨大潜力.
