FSDM:一种高效的视频超分辨率方法,基于位转移扩散模型
Shijie Yang1, Chao Chen2, Jie Liu2
1State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, 210023, Jiangsu, China; School of Artificial Intelligence, Nanjing University, Nanjing, 210023, Jiangsu, China.
概括
我们介绍了一种新的转移扩散模型,用于高效的视频超分辨率 (VSR). 这种方法通过调整图像扩散模型来提高视频质量,以降低计算成本提供卓越的性能.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 图像处理 图像处理
背景情况:
- 扩散模型具有先进的图像超分辨率 (SR).
- 将扩散模型集成到视频超分辨率 (VSR) 中,由于复杂的时间融合模块,计算密集.
- 现有的方法在平衡VSR的性能和计算效率方面面临挑战.
研究的目的:
- 为视频超分辨率提出一种新且计算效率高的基于扩散的模型.
- 适应现有的超高分辨率图像扩散模型,在没有复杂的时间模块的情况下进行视频处理.
- 通过简化传播方法提高视频质量和感知指标.
主要方法:
- 通过调整图像扩散模型,开发了一个位转移扩散模型.
- 集成的时间信息使用光流用于多融合.
- 修改了扩散过程,以便在没有额外参数的情况下从图像SR转向视频SR的顺利过渡.
主要成果:
- 转移扩散模型实现了高效的对视频处理.
- 该模型在视频超分辨率中展示了卓越的性能和增强的感知质量.
- 在PSNR和SSIM指标中取得了与基于最先进的传播的VSR方法相似的结果.
结论:
- 转移扩散模型通过简化时间数据集成,为视频超分辨率提供了有效的解决方案.
- 与传统的VSR扩散模型相比,这种方法减少了计算复杂性.
- 该模型有效地提高了视频质量,同时保持了计算效率.
