使用单光子直接飞行时间传感器识别人类活动.
Optics express
|June 11, 2024
概括
本研究介绍了一种使用单光子雪崩二极管 (SPAD) 传感器进行人类活动识别的新型视觉系统. 该系统在区分七种活动时达到89%的准确度,从40m,即使分辨率低.
科学领域:
- 计算机视觉 计算机视觉
- 传感器技术 传感器技术
- 人工智能的人工智能
背景情况:
- 单光子雪崩二极管 (SPAD) 直接飞行时间 (dToF) 传感器提供长距离深度成像功能,可用于检测物体,无论颜色或纹理.
- 由于分辨率低和太阳干扰,将传统的计算机视觉应用到SPAD数据中存在挑战,特别是对于以少数像素表示的遥远物体.
研究的目的:
- 利用基于SPAD的深度数据开发一个强大的人类活动识别系统.
- 为了克服SPAD传感器中低横分辨率和噪声的局限性,用于现实世界的应用.
- 将系统完全训练在合成数据上,使其具有广泛的应用性.
主要方法:
- 设计了一种基于SPAD的新型视觉系统,集成卷积和循环神经网络.
- 该系统仅在合成数据上进行训练,以处理现实世界的传感器限制.
- 使用64x32像素的SPAD传感器在40米的距离上使用真实数据来评估性能.
主要成果:
- 该系统在区分七种不同的人类活动时,平均准确率为89%.
- 它成功地解决了有限的横向分辨率 (人类四肢的宽度为1像素) 和噪音所带来的挑战.
- 该系统在GPU上以高达66FPS的速度处理连续视频速率深度数据流.
结论:
- 拟议的基于SPAD的视觉系统在具有挑战性的远距离场景中表现出高精度的人类活动识别.
- 对合成数据的训练被证明是克服现实世界的传感器限制的有效方法.
- 该系统的实时处理能力使其适用于监控和自主系统.


