高速摄像头的深度学习ISP:在高率下实现DSLR质量的成像

科学领域:

• 科学成像科学成像技术
• 计算机摄影的使用
• 计算机视觉 计算机视觉

背景情况:

• 高速成像对于捕捉动态事件至关重要,但由于传感器的限制和极端采集条件,由于图像降解 (噪音,色彩扭曲) 而受到损害.
• 现有的方法难以平衡高率与可接受的图像质量.

研究的目的:

• 为高速摄像机开发一个深度图像信号处理 (ISP) 范式.
• 为了实现与数字单镜头反射镜头 (DSLR) 相机相似的图像质量,同时保持高率.
• 在高速图像中解决噪音,色彩扭曲和像素错位问题.

主要方法:

• 构建RHID数据集,这是第一个大规模的真实世界高速成像ISP数据集,具有RAW和sRGB图像对.
• 开发一个针对失调的强大ISP学习框架 (MisISP).
• 实施了先前的映射器引导图像对齐模块 (PMIA) 和频谱引导的弱对齐图像监督损失.

主要成果:

• 拟议的深度ISP范式显著提高了高速成像中的图像质量.
• 在噪声抑制,亮度增强和颜色保存方面取得了实质性的进展.
• 超越现有的深度ISP模型,用于高速成像应用.

结论:

• 新的深度ISP范式有效地提高了高速摄像机的图像质量.
• RHID数据集和MisISP框架为未来的高速成像研究提供了宝贵的资源.
• 这项工作弥合了高速采集能力和专业图像质量之间的差距.