隐含的图像对图像施罗丁格桥用于图像恢复
Yuang Wang1,2, Siyeop Yoon2, Pengfei Jin2
1The Department of Engineering Physics, Tsinghua University, 30 Shuangqing Road, Haidian, Beijing, 100084, China.
Pattern recognition
|April 21, 2025
概括
隐式图像到图像施罗丁格桥 (I3SB) 通过在生成过程中直接使用损坏的图像来加速图像恢复. 这种方法实现了与现有模型相提并论的质量,但推断速度要快得多.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 图像处理 图像处理
背景情况:
- 扩散模型在图像恢复方面表现出色,但由于高斯噪声的代无声化而遭受缓慢的推断.
- 图像对图像施罗丁格桥 (I2SB) 通过使用损坏的图像来改进初始化,利用基于分数的扩散模型训练.
- 现有的方法在推断速度方面面临挑战,这限制了实时图像恢复中的实际应用.
研究的目的:
- 引入隐性图像对图像施罗丁格桥 (I3SB) 以加速图像恢复.
- 通过在每个步骤中整合初始损坏的图像信息来增强I2SB的生成过程.
- 通过确保边际分布的一致性,使预训练的I2SB模型可以在不需要再训练的情况下直接使用.
主要方法:
- 开发了I3SB,一个非马科夫式的生成框架,在整个过程中整合了最初的损坏图像.
- 确保边际分布的一致性,以允许与预训练的I2SB模型无集成.
- 在各种图像损坏 (噪音,低分辨率,JPEG,稀疏采样) 和模式 (自然,面部,医疗图像) 上进行了广泛的实验.
主要成果:
- 与I2SB相比,I3SB显著加快了生成过程.
- 在较少的生成步骤中实现同等的感知质量.
- 在各种图像恢复任务中保持或改进对基本真相的忠实性.
- 在自然,人脸和医学图像数据集上表现出有效性.
结论:
- 与现有的I2SB方法相比,I3SB为图像恢复任务提供了显著的速度改进.
- 非马科夫的方法有效地保存和利用损坏的图像信息,以更快地生成.
- I3SB提供了一种实用且高效的解决方案,用于高质量的图像恢复,而不会损害保真度.
