学习双边成本卷滚动百叶窗的时间超分辨率
IEEE transactions on pattern analysis and machine intelligence
|January 8, 2024
概括
本研究介绍了一种统一的单阶段方法,用于滚动快门时间超分辨率 (RSSR),以合成高质量的全球快门视频. 这种新的方法改善了运动估计和合成,实现了最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
- 视频处理 视频处理
背景情况:
- 滚动式快门 (RS) 摄像头连续捕捉图像,导致扭曲.
- 现有的滚动快门时间超分辨率 (RSSR) 方法使用复杂的多阶段网络.
- 目前的方法在像素别名和整合运动/外观信息方面扎.
研究的目的:
- 开发一个统一的,单阶段的RSSR管道,用于合成中间的全球快门 (GS) .
- 为了提高运动场估计和合成精度.
- 克服现有的级联网络方法的局限性.
主要方法:
- 为 RS 意识的向后扭曲引出均的双边运动场.
- 开发一个统一的,单阶段的RSSR管道,使用金字塔特征和粗细的精细化.
- 引入双边成本量来建模RS框架和框架之间的相关性.
- 在对称模型之上实施一个不对称的双边运动模型.
主要成果:
- 在定量和定性实验中实现了新的最先进的性能.
- 证明了改进的运动估计和上下文细节补偿.
- 消除了对额外框架合成或改进网络的需求.
结论:
- 拟议的统一,单阶段的RSSR方法为GS视频重建提供了更有效和高效的解决方案.
- 新的双边运动场和成本量显著提高了时空一致性和准确性.
- 该方法在合成数据和现实数据上显示出强大的通用性和适应性.
