流量量子传感器用于在线,高性能成像和视觉
概括
量子图像传感器 (QIS) 提供先进的成像,但面临高数据速率. 这项研究引入了一种新的计算管道,用于高效的实时视频从QIS数据重建,减少带宽和计算负载.
科学领域:
- 计算机视觉 计算机视觉
- 传感器技术 传感器技术
- 图像处理 图像处理
背景情况:
- 量子图像传感器 (QIS) 是超快的,零读噪声的二元传感器,具有显著的成像潜力.
- 由于高数据速率和对其独特原始数据的专业计算管道的需求,QIS的广泛采用受到阻碍.
研究的目的:
- 引入一种新的,低带宽的计算管道来处理QIS数据.
- 使用QIS实现高效的实时视频重建和计算机视觉任务.
- 解决与QIS相关的高数据速率和非常规数据格式的挑战.
主要方法:
- 开发了一种具有小内存足迹的新型流媒体表示,以捕获跨时间尺度的强度信息.
- 实现了一个计算管道,只需要每像素16个浮点运算来进行表示更新,适合以本机率进行在线计算.
- 利用在流媒体表示上运行的神经网络进行实时视频重建.
主要成果:
- 与现有方法相比,实现了显著的数据带宽减少.
- 启用实时视频重建 (10-30 fps) 和计算机视觉任务.
- 与最先进的方法相比,显著减少了计算要求,同时保持了可比的图像质量.
结论:
- 拟议的计算管道有效地解决了QIS数据处理的挑战.
- 新的流媒体表示非常适合新兴的QIS,提供低延迟和高率.
- 本文介绍了在量子图像传感器上进行在线实时图像重建的第一种方法.
