高分辨率图像 inpainting 使用各种图像的大任意面具的概率框架

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 图像处理 图像处理

背景情况:

• 对于图像inpainting的监督机器学习需要对微小的输入变化进行广泛的再培训,从而限制效率.
• 生成对抗网络 (GAN) 显示出希望,但在绘画中与光现实化的高分辨率图像作斗争,特别是在大型面具中,往往导致变形结构和模糊纹理.

研究的目的:

• 为绘制高分辨率图像开发一种新的无监督概率模型,解决当前最先进方法的局限性.
• 为了提高彩绘图像的质量,现实性和结构完整性,特别是对于大型任意面具.

主要方法:

• 提出了一种新的概率模型,利用来自StyleGAN3.3的图像先验.
• 使用等号相似度,平均值和强度 (通过改进的Papoulis-Gerchberg算法计算) 构建priors.
• 图像重建采用概率最大后期估计,通过变量推理和修改的贝叶斯-by-Backprop方法进行优化.

主要成果:

• 拟议的模型在重建质量方面,与最先进的技术相比,表现优越.
• 在各种数据集 (Flickr-Faces-HQ,DIV2K,脑) 上进行评估,该模型实现了高质量的绘制结果.
• 该方法有效处理高分辨率图像和大任意面具,产生具有改进纹理和结构的光现实性输出.

结论:

• 这种新的概率模型为具有挑战性的高分辨率图像绘制任务提供了一种高效和有效的无监督解决方案.
• 该方法成功地将图像前置集成到生成框架中,以提高图像重建质量.
• 这种方法通过为复杂的绘制场景提供强大和高保真的结果,推进了图像修复领域.