部署Fusion:一个可部署的单眼3D对象检测与多传感器信息融合在BEV边缘设备的边缘设备

科学领域:

• 计算机视觉 计算机视觉
• 机器人技术 机器人技术 机器人技术
• 人工智能的人工智能

背景情况:

• 现有的多传感器融合3D物体检测方法在远程检测准确性和计算负载方面面临挑战.
• 在实时应用中需要高效准确的3D对象检测.

研究的目的:

• 提出一种新的基于多传感器融合3D物体检测方法的鸟视图 (BEV).
• 为了提高远程和小物体的检测精度,同时降低计算复杂性.
• 为了在嵌入式平台上实现实时部署.

主要方法:

• 使用了一个增强的轻量级EdgeNeXt功能提取网络与剩余分支.
• 包含可变形卷积来扩大受体场并降低计算复杂性.
• 开发了一个双阶段的功能融合网络,用于多传感器数据对齐 (图像和点云).
• 采用了变压器解码器来处理BEV特征序列并强调全球空间线索.

主要成果:

• 与基线相比,NuScenes检测得分提高了4.5%.与基线相比,NuScenes检测得分提高了4.5%.
• 在对象检测的平均精度上显示了5.5%的增长.
• 在使用TensorRT加速的Jetson Orin NX嵌入式平台上以每138毫秒的速度实现实时推断.

结论:

• 提出的基于BEV的方法有效地解决了低于最佳的远程检测和计算负担.
• 这种方法可以精确检测远处的小物体,并实时执行.
• 优化的模型转换和加速可在移动设备上部署用于实际应用.