通过深度学习实现事件-CMOS摄像头的现实世界的空间同步:一种新的CNN-DGCNN方法

科学领域:

• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.
• 机器人技术 机器人技术 机器人技术

背景情况:

• CMOS摄像头在图像质量方面表现出色,但在动态场景中表现不佳.
• 事件摄像头提供优越的时间分辨率和运动清晰度,补充CMOS传感器.
• 这些相机类型之间的精确空间对齐对于集成系统至关重要,但目前缺乏.

研究的目的:

• 开发一个深度学习架构,以加强CMOS和事件摄像头之间的空间同步.
• 调查事件数据特征与同步精度之间的关系.
• 开创基于场景的同步,以改善混合模式的视觉感知.

主要方法:

• 一个使用动态图卷积神经网络 (DGCNN) 的新型深度学习架构.
• 从事件摄像头直接处理事件数据.
• 基于事件密度和分布的同步精度的经验评估.

主要成果:

• 同步精度与事件的空间集中度和密度密切相关.
• 密度较高的事件集群可以提高校准准确度.
• 校准错误随着事件数据分布更加均而增加.

结论:

• 拟议的DGCNN架构有效地改善了CMOS和事件摄像头之间的空间同步.
• 事件数据密度是准确的摄像头校准和对齐的关键因素.
• 这项研究使混合模式视觉系统的进步成为可能,用于需要高时间和空间细节的应用.