BEVFormer:通过时空变压器从LiDAR摄像头学习鸟视图表示

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器人技术 机器人技术 机器人技术

背景情况:

• 多模式融合对于自动驾驶中的竞争性3D感知至关重要.
• 现有的方法往往缺乏统一的方法来整合不同的传感器数据.
• 需要有效的时空特征提取仍然是一个关键的挑战.

研究的目的:

• 引入 BEVFormer,这是一个用于统一鸟视图 (BEV) 表示学习的新框架.
• 为了利用时空变压器实现有效的多模式数据融合.
• 用一个单一的模型支持各种自动驾驶感知任务.

主要方法:

• 开发了BEVFormer,使用网格形状的BEV查询来与空间和时间信息进行交互.
• 实现空间交叉注意力,在BEV空间内融合点云和摄像头功能.
• 使用时间自我注意力来反复整合历史的BEV信息.

主要成果:

• 在nuScenes测试套件上达到74.1%的NDS指标,实现了新的最先进的性能.
• 与其他范式相比,证明了拟议的融合方法的简洁性和有效性.
• 成功将BEVFormer扩展到包括对象跟踪,矢量映射和占用预测在内的任务.

结论:

• BEVFormer提供了一种统一而有效的解决方案,用于自动驾驶感知中的多模式融合.
• 该框架能够处理时空信息,从而在各种任务中实现卓越的性能.
• 这种方法对推进端到端自动驾驶系统具有重大前景.