Una tubería de profundidad de extremo a extremo para la rectificación de imágenes de selfie

Área de la Ciencia:

• Visión por computadora
• Aprendizaje profundo
• Procesamiento de imágenes

Sus antecedentes:

• Los retratos en primer plano y las selfies a menudo muestran distorsión de perspectiva.
• Los métodos existentes para corregir las distorsiones pueden ser complejos y demorosos.

Objetivo del estudio:

• Desarrollar una tubería de aprendizaje profundo de extremo a extremo para mitigar la distorsión de perspectiva en las imágenes faciales.
• Mejorar la calidad y la eficiencia de la rectificación de imágenes para retratos.

Principales métodos:

• Una red neuronal convolucional profunda (CNN) predice la profundidad facial para el ajuste de perspectiva.
• Un procesador diferenciado facilita el entrenamiento de extremo a extremo de la estimación de profundidad y la extracción de características.
• Un módulo de inpainting reconstruye los píxeles faltantes, ayudado por un módulo de predicción de movimiento de la cámara.

Principales resultados:

• La tubería propuesta corrige efectivamente la distorsión de perspectiva en las imágenes de fotograma completo.
• Supera los métodos anteriores tanto en las evaluaciones cuantitativas como en las cualitativas.
• Obtiene resultados comparables a los métodos basados en 3D GAN, pero es más de 260 veces más rápido.

Conclusiones:

• La tubería de aprendizaje profundo ofrece una solución rápida y efectiva para la corrección de distorsión de perspectiva en retratos.
• El procesamiento de imágenes de fotograma completo simplifica el proceso de rectificación, eliminando el postprocesamiento complejo.
• El uso de datos sintéticos generados con Unreal Engine demuestra la solidez del enfoque.