提高传播模型的稳定性和效率,以实现内容一致的超级分辨率

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 预先训练的隐性扩散模型 (DMs) 显示出对图像超分辨率 (SR) 的承诺.
• 然而,DM噪声采样在SR输出中引入了随机性和控制问题.
• 现有的加速方法在生产能力控制方面存在困难.

研究的目的:

• 开发一种超高分辨率的方法,提高视觉质量,确保内容的一致性.
• 将扩散模型和生成对抗网络的优势结合起来,以改善SR结果.

主要方法:

• 一种分为两个阶段的方法,将SR分为结构重建 (DM) 和细节增强 (GAN).
• 一种非统一的时间步骤采样策略,使用单个初始步骤,然后进行结构重建的几个反向步骤.
• 通过对抗性GAN训练微调预训练的变化自动编码解码器,以提高确定性细节.

主要成果:

• 拟议的内容一致超分辨率 (CCSR) 方法显著提高了内容一致性.
• 即使减少了扩散步骤的数量 (例如1或2),CCSR也保持了高的感知质量.
• 该方法允许在推断过程中灵活使用扩散步骤,而无需重新训练.

结论:

• 在基于DM的SR中,CCSR有效地解决了随机性和控制问题.
• 混合DM-GAN方法为高质量和一致的图像超分辨率提供了强大的解决方案.
• 这些发现表明,可控和高效的生成SR有望走向可控和高效的生成SR.