自主监督深盲视频超分辨率超级分辨率

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 视频超分辨率 (SR) 的监督深度学习依赖于简化降解模型 (例如,二立方核),这些模型在现实场景中失败.
• 在实际应用中,获取配对的低分辨率 (LR) 和高分辨率 (HR) 视频数据用于培训是具有挑战性的.
• 现有的方法在现实视频中与复杂的,未知的降解过程作斗争.

研究的目的:

• 开发盲人视频SR的自我监督学习方法,解决监督方法的局限性.
• 从LR视频直接实现模糊内核和HR视频的同时估计.
• 在复杂的,现实世界的退化场景中提高视频SR性能.

主要方法:

• 建议为盲人视频SR提供自我监督的学习框架.
• 开发一种方法来从LR视频中生成辅助配对数据,以满足网络约束.
• 集成一个光学流量估计模块,以利用相邻的时间信息.
• 同时估计模糊内核和恢复隐藏的HR视频.

主要成果:

• 提出的方法有效地处理复杂和未知的视频退化.
• 生成的辅助数据为模糊内核估计和HR视频恢复提供了强大的约束.
• 整合光流可以提高时间信息的利用.
• 实验结果表明,与基准和现实世界视频上的最先进方法相比,其性能优越.

结论:

• 自主监督的方法克服了对联数据和视频SR中理想化的降解模型的需求.
• 该方法在现实应用中为盲视频SR提供了实用解决方案.
• 该技术显示出在各种场景中提高视频质量的巨大潜力.