事件驱动的视频修复与尖端的卷积架构.

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 神经科学启发的计算技术

背景情况:

• 事件摄像机提供高时间分辨率和动态范围,推进低水平视觉任务.
• 由于CNN的局限性,现有的基于事件的方法往往无法充分利用空间和时间事件信息.
• 在相邻事件中空间分布和时间关系的使用不足,阻碍了视频恢复质量.

研究的目的:

• 提出一个新的Spiking-Convolutional网络 (SC-Net) 改进事件驱动的视频恢复.
• 增强事件数据中的时间相关性和事件和之间的空间一致性的提取.
• 在低质量的视频序列中准确地恢复详细的纹理和利的边缘.

主要方法:

• 开发了一种混合的尖端神经网络 (SNN) 和卷积神经网络 (CNN) 架构 (SC-Net).
• SNN组件捕获稀疏事件数据中的时间相关性.
• CNN组件将稀疏事件转化为亮度先验,以获得详细的纹理意识.

主要成果:

• 该SC-Net有效地利用时间事件相关性和来自事件和的空间信息.
• 与现有方法相比,在消除模糊,超分辨率和脱轨任务方面表现出卓越的性能.
• 在合成和现实世界的基准数据集上验证的有效性.

结论:

• 拟议的SC-Net架构显著改善了事件驱动的视频恢复.
• 混合SNN-CNN方法成功地解决了以前基于事件的方法的局限性.
• 通过使用事件摄像头数据,SC-Net为提高视频质量提供了一个有前途的方向.