大AD:为自动驾驶提供大规模的交叉传感器数据培训

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器人技术 机器人技术 机器人技术

背景情况:

• 视觉基础模型 (VFMs) 在2D视觉感知方面表现出色,但在自动驾驶中对3D场景理解方面未得到充分探索.
• 现有的方法与大规模的3D数据和现实世界驾驶场景的跨模式集成作斗争.

研究的目的:

• 引入 LargeAD,这是一个可扩展的框架,用于使用各种驾驶数据集进行大规模的3D预训练.
• 通过利用VFM来增强3D场景的理解,以便在2D图像和3D LiDAR数据之间进行交叉模式表示学习.

主要方法:

• 使用VFMs从二维图像中生成语义丰富的超级像素.
• 将2D超像素与LiDAR点云对齐,用于对比样本生成.
• 实施VFM辅助的对比学习,超点时间一致性和多源数据预训练.

主要成果:

• 在线式探测和微调方面,与最先进的方法相比,取得了显著的性能提升.
• 在基于LiDAR的细分和对象检测任务中表现出卓越的结果.
• 在11个大型多传感器数据集中验证了适应性,效率和稳定性.

结论:

• LargeAD为自动驾驶的3D预训练提供了一种多功能和可扩展的解决方案.
• 该框架有效地提高了2D和3D模式的语义一致性和表示学习.
• LargeAD显示了现实世界自动驾驶应用程序的巨大潜力,需要强大的3D场景理解.