通过2D-3D神经校准,对LiDAR 3D点云进行自我监督的学习

科学领域:

• 计算机视觉 计算机视觉
• 机器人技术 机器人技术 机器人技术
• 机器学习 机器学习

背景情况:

• 自动驾驶系统需要精确的3D感知.
• 集成来自多个传感器的数据,如摄像头和激光雷达是至关重要的.
• 自主监督学习提供了一种有希望的方法来减少对标记数据的依赖.

研究的目的:

• 介绍NCLR,一种用于3D感知的新型自我监督框架.
• 开发一个2D-3D神经校准借口任务,用于相机-LiDAR对齐.
• 提高对LiDAR-to-camera外在参数的理解. 提高对LiDAR-to-camera外在参数的理解.

主要方法:

• 提出可学习的转换对齐,以弥合图像和点云特征之间的域间隙.
• 识别重叠区域使用融合特征进行强大的匹配.
• 建立密集的2D-3D对应,以估计用于传感器校准的刚性姿势.

主要成果:

• 在细粒度和整体层面上,NCLR实现了图像和点云数据的有效对齐.
• 预先训练的NCLR骨干显著提高了下游任务的性能,例如3D语义细分,对象检测和全视细分.
• 在各种数据集上表现出优于现有的自我监督方法的优势.

结论:

• 从多模式数据中共同学习可以提高网络理解和表示效率.
• NCLR为自动驾驶中的3D感知提供了强大而有效的自我监督方法.
• 拟议的方法推进了自主系统的传感器融合和校准领域.