深度学习增强的超分辨率成像使用低成本的单光子雪崩二极管.

科学领域:

• 计算机视觉 计算机视觉
• 光子学 是一个光子学.
• 人工智能的人工智能

背景情况:

• 低成本的单光子雪崩二极管 (SPAD) 阵列为深度传感提供了潜力.
• 现有的超分辨率 (SR) 方法通常需要复杂的融合或大量的计算资源.
• 提高消费级SPAD阵列的性能对于更广泛的采用至关重要.

研究的目的:

• 为低成本的SPAD阵列开发一种非融合深度学习 (DL) 基于超分辨率 (SR) 的解决方案.
• 从低分辨率 (LR) 输入中重建高分辨率 (HR) 深度和强度图像.
• 优化DL模型以实现高效的硬件部署和实时应用程序.

主要方法:

• 一个紧的深度学习 (DL) 模型被设计用于处理低分辨率 (LR,8x8) 深度和强度数据.
• 该模型同时重建高分辨率 (HR,50x50) 图像.
• 通过INT8量子化进行模型压缩,以方便硬件部署.
• 对合成数据集和来自STMicroelectronics VL53L8CX SPAD阵列的真实测量进行了评估.

主要成果:

• DL模型在合成数据集上的地面真实图像上表现出高保真性.
• 从实际的SPAD阵列测量结果的重建中获得了精确的结构细节.
• INT8量子化只导致了边际的准确性损失,同时允许硬件部署.
• 原始和量子化模型都在中等级别的GPU上实现了视频速率SR重建.

结论:

• 拟议的紧型DL模型有效地提高了用于超分辨率深度成像的低成本SPAD阵列的性能.
• 该模型的效率和准确性使其适合实时应用.
• 它的紧尺寸和硬件部署潜力使其适用于边缘计算,移动和嵌入式系统.