一个端到端的基于深度的自拍图像校正管道

科学领域:

• 计算机视觉
• 深度学习
• 图像处理

背景情况:

• 靠近的肖像和自拍通常会出现视角扭曲.
• 现有的扭曲纠正方法可能复杂且耗时.

研究的目的:

• 开发一个端到端的深度学习管道,以减轻面部图像的视角扭曲.
• 提高肖像图像的质量和效率.

主要方法:

• 深度卷积神经网络 (CNN) 预测面部深度以进行视角调整.
• 一个可差分的染器可以方便深度估计和特征提取的端到端训练.
• 一个inpainting模块重建缺失的像素,有助于摄像头的运动预测模块.

主要成果:

• 拟议的管道有效地纠正了全图像中的视角扭曲.
• 它在数量和质量评估方面都胜过以前的方法.
• 实现与基于3D GAN的方法相似的结果,但速度是260倍以上.

结论:

• 深度学习管道提供了一个快速有效的解决方案来纠正肖像中的视角扭曲.
• 处理全图像简化了整改过程,避免了复杂的后处理.
• 使用虚幻引擎生成的合成数据证明了这种方法的稳定性.