交叉缩放:同时移动解和事件超级分辨率

科学领域:

• 计算机视觉 计算机视觉
• 神经形态工程的神经形态工程
• 机器学习 机器学习

背景情况:

• 基于框架事件的视觉应用程序从集成传统和神经形态事件摄像头中受益.
• 性能限制源于图像和事件数据之间的空间和时间分辨率差异.
• 弥合这个分辨率差距对于推进视觉应用至关重要.

研究的目的:

• 开发一个统一的神经网络 (CZ-Net),共同解决图像中的运动模糊和事件超分辨率.
• 为了提高图像的时间分辨率和事件的空间分辨率.
• 通过克服模式特定的分辨率限制,提高基于框架事件的视觉系统的性能.

主要方法:

• 介绍CrossZoom (CZ-Net),一种新的统一神经网络架构.
• 开发一个多尺度模糊事件融合机制,以整合跨模式信息.
• 基于注意力的自适应增强和交叉相互作用预测模块的实施.
• 创建一个新的数据集,包含高分辨率 (HR) 清晰模糊图像和相应的HR-低分辨率 (LR) 事件流.

主要成果:

• CZ-Net有效地恢复了尖的隐藏图像序列和相应的HR事件.
• 多尺度融合架构成功地利用尺度变量属性进行交叉增强.
• 注意力机制和交叉交互模块减轻了LR事件的扭曲,并改善了最终输出.
• 在合成和现实数据上的实验验证实了该方法的有效性和稳定性.

结论:

• 拟议的CrossZoom (CZ-Net) 方法成功地弥合了图像和事件数据之间的空间和时间分辨率差距.
• CZ-Net提供了一种统一的方法,用于同时移动模糊和事件超分辨率.
• 新的数据集和方法对推进基于框架事件的视觉研究做出了重大贡献.