基于卡尔曼波器的LiDAR和摄像头数据在鸟视图中的融合,用于自动驾驶汽车的多对象跟踪
Loay Alfeqy1, Hossam E Hassan Abdelmunim1, Shady A Maged1
1Mechatronics Engineering Department, Faculty of Engineering, Ain Shams University, Cairo 11535, Egypt.
Sensors (Basel, Switzerland)
|December 17, 2024
概括
CLF-BEVSORT通过将摄像头和LiDAR数据合并到鸟视图中来增强自动驾驶汽车的感知. 这种新的方法提高了多对象跟踪的准确性,特别是在遮蔽时,设置了一个新的基准.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 自主系统 自主系统
背景情况:
- 精确的多物体跟踪 (MOT) 对自动驾驶汽车 (AV) 至关重要,但由于单个传感器的局限性而受到挑战.
- 现有的多模式MOT方法通常依赖于复杂的深度学习融合.
- 在闭塞期间强大的跟踪仍然是AV感知的一个重大障碍.
研究的目的:
- 推出CLF-BEVSORT,这是一个新的摄像机-LiDAR融合模型,用于自动驾驶中的3D多物体跟踪 (3DMOT).
- 通过将2D摄像头和3D LiDAR数据合并到鸟视图 (BEV) 中来提高追踪的稳定性.
- 通过利用LiDAR深度信息,改善短暂封闭期间的轨道恢复.
主要方法:
- 开发了CLF-BEVSORT,这是一个在鸟视图 (BEV) 中运行的相机-LiDAR融合模型.
- 整合了一个新的关联策略,将结构相似性纳入数据融合的成本函数.
- 利用SORT跟踪框架,并利用LiDAR深度进行强大的轨道恢复.
主要成果:
- 在KITTI数据集上实现了汽车的77.26%的最先进HOTA得分,超过了现有的方法.
- 在行人方面表现优于其他方法,HOTA得分为46.03%.
- 与基线方法相比,汽车的身份开关 (IDSW) 减少了45%以上.
结论:
- CLF-BEVSORT在自动驾驶的3D多物体跟踪方面展示了卓越的性能.
- 拟议的核聚变战略有效地处理传感器数据,并改善跟踪一致性.
- 在动态环境中,CLF-BEVSORT为强大而准确的3DMOT建立了新的基准.
更多相关视频
08:25Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment
Published on: May 7, 2019
8.9K
08:04Fully Automated Leg Tracking in Freely Moving Insects using Feature Learning Leg Segmentation and Tracking FLLIT
Published on: April 23, 2020
6.7K
