一个256×256 LiDAR成像系统基于一个200兆瓦的SPAD-based SoC与微镜阵列和轻量级的RGB引导深度完成神经网络
Jier Wang1, Jie Li1, Yifan Wu2
1State Key Laboratory of ASIC and System, Fudan University, Shanghai 201203, China.
Sensors (Basel, Switzerland)
|August 12, 2023
概括
本研究介绍了使用单光子雪崩探测器 (SPAD) 的低功耗,低成本3D LiDAR芯片上的系统 (SoC). 与神经网络相结合,它显著提高了移动3D成像能力.
科学领域:
- 移动传感技术的使用.
- 计算机视觉和成像系统
- 集成电路设计 集成电路设计
背景情况:
- 光检测和测距 (LiDAR) 提供先进的移动应用程序,如3D成像和增强现实.
- 目前,高成本和电力消耗限制了移动激光雷达的广泛采用.
研究的目的:
- 开发一种低功耗,具有成本效益的芯片系统 (SoC),用于移动设备上的3D LiDAR成像.
- 通过一种新的神经网络方法,提高LiDAR数据的分辨率和应用性.
主要方法:
- 设计和制造了一种基于180nm双极CMOS-DMOS (BCD) 工艺的SoC,集成了一个8x8的SPAD阵列,时间到数字转换器 (TDC) 和充电.
- 使用基于随机微镜阵列 (MLA) 的扩散器,以实现高效的光束均化和45°视野 (FOV).
- 实现了一个轻量级的RGB引导的稀疏深度完成神经网络,以升级8x8深度地图到QVGA (256x256) 解析度.
主要成果:
- 拟议的SoC证明了稳定的距离传感器功能.
- MLA扩散器有效地将高斯波束转换为平顶波束,用于闪光投影.
- 神经网络实现了显著的分辨率提升,并证明了准确性和轻量级性能.
- 实验结果验证了硬件和软件共同设计的有效性.
结论:
- 集成的基于SPAD的SoC和神经网络为移动3D成像提供了可行的,低功耗和低成本的解决方案.
- 这项技术为移动平台上的未来消费者级3D成像应用奠定了基础.
- 该系统克服了移动LiDAR的成本和功耗的先前限制.
