基于摄像头的BEV细分的比较研究和优化,用于实时自动驾驶.

科学领域:

• 计算机视觉 计算机视觉
• 自主驾驶系统 自主驾驶系统
• 嵌入式系统工程 嵌入式系统工程

背景情况:

• 实时鸟视图 (BEV) 分段对于自动驾驶安全至关重要.
• 现有的方法在嵌入式平台上平衡精度和计算效率方面面临挑战.
• 对资源有限的环境进行基于摄像头的BEV细分的优化是一个关键的研究领域.

研究的目的:

• 优化基于摄像头的鸟视角 (BEV) 分段技术,用于实时嵌入式系统部署.
• 评估和比较基于深度,基于MLP和基于变压器的BEV细分方法.
• 通过多阶段的优化过程实现高精度和低延迟.

主要方法:

• 在nuScenes数据集上对lift-splat-shoot,HDMapNet和BEVFormer进行数学分析和比较性能评估.
• 三阶段优化:提高准确性 (模块选择,输入分辨率,数据增强),减少延迟,优化模型大小 (模型压缩).
• 使用InternImage-B/T编码器,EfficientNet-B0解码器和FP16量子化进行模型压缩.

主要成果:

• 使用InternImage-B编码器和EfficientNet-B0解码器的升降板拍摄方法在448x800输入分辨率下实现了54.9mIoU.
• 内部图像-T变体提供了高效率 (51.7毫秒延迟,159.5 MB大小) 的53.1mIoU.
• FP16量子化减少了50%的记忆和延迟,保持了mLoU. 最优化的方法提高了mIoU的29.2%,同时减少了内存大小.

结论:

• 基于InternImage编码器的提升平板拍摄技术为嵌入式BEV细分提供了精度,延迟和模型大小之间的最佳权衡.
• 最佳的输入分辨率取决于模型,需要仔细调整以获得最大的准确性.
• 像FP16量子化这样的模型压缩技术对于在功率受限的嵌入式设备上部署精确的BEV细分是有效的.