合成数据增强和单眼深度估计的网络压缩技术,用于实时自动驾驶系统
Woomin Jun1,2, Jisang Yoo2,3, Sungjin Lee1,2
1Electronic Engineering, Dong Seoul University, Seongnam 13117, Republic of Korea.
Sensors (Basel, Switzerland)
|July 13, 2024
概括
这项研究提高了单眼深度估计 (MDE) 用于自动驾驶使用新型数据增强和RMS算法. 这些方法提高了实时应用的3D感知精度和效率.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器人技术 机器人技术 机器人技术
背景情况:
- 自动驾驶的安全依赖于精确的3D图像识别.
- 基于摄像头的深度估计正在取代LIDAR,因为检测小,遥远的物体的成本和局限性.
- 单眼深度估计 (MDE) 为3D环境数据采集提供了具有成本效益的解决方案.
研究的目的:
- 通过使用新的基于合成的数据增强技术,提高单眼深度估计 (MDE) 的准确性.
- 引入实时单眼深度估计配置,考虑分辨率,效率和延迟 (RMS) 算法,以优化神经网络.
- 为了验证在设备上的自动驾驶平台上提出的方法的性能.
主要方法:
- 拟议的基于合成的数据增强策略:Mask,Mask-Scale和CutFlip.
- 开发了RMS算法:一个三步过程,涉及模型选择,精度精细化与数据增强和损失函数,和网络压缩.
- 利用量子化,修剪和FP16等技术进行模型压缩.
主要成果:
- 合成数据增强使MDE模型的准确性提高了4.0%.
- 在RMS约束下,IEBins模型实现了最好的REL性能 (0.0480) .
- 数据增强 (Flip, Mask, CutFlip) 和SigLoss的组合产生了最好的REL性能 (0.0461).
- FP16压缩将模型大小减少了83.4%,对性能和延迟的影响最小.
结论:
- 新的数据增强和RMS算法显著提高了MDE准确性和自动驾驶的效率.
- 拟议的方法可以在边缘设备上实现经济高效的实时3D感知.
- 针对NVIDIA Jetson AGX Orin平台上的各种自动驾驶场景,优化了部署策略.
