DiFaReli++: Reiluminación de Rostros por Difusión con Sombras Arrojadas Consistentes

Área de la Ciencia:

• Visión por Computadora
• Gráficos por Computadora
• Inteligencia Artificial

Sus antecedentes:

• La reiluminación de rostros de vista única es un desafío debido a la iluminación global y las sombras arrojadas.
• Los métodos existentes a menudo dependen de una descomposición intrínseca propensa a errores (forma 3D, albedo, iluminación).
• Estos métodos requieren datos de entrenamiento extensos, incluida la iluminación de verdad fundamental y escenarios de luz.

Objetivo del estudio:

• Desarrollar un enfoque novedoso para la reiluminación de rostros de vista única en la vida real.
• Evitar la necesidad de una estimación intrínseca precisa y datos extensos de verdad fundamental.
• Lograr una reiluminación realista con sombras arrojadas temporalmente consistentes.

Principales métodos:

• Aprovechamiento de un modelo implícito de difusión condicional (DDIM) para decodificar la codificación de luz desentrelazada.
• Utilización de estimadores listos para usar para la forma 3D y la identidad facial.
• Proposición de una técnica de acondicionamiento novedosa que utiliza referencias de sombreado renderizadas y mapas de sombras para modular el DDIM.
• Implementación de un marco de reiluminación de toma única.

Principales resultados:

• El método evita la necesidad de estimación intrínseca y puede entrenarse únicamente con imágenes 2D.
• Se logró un rendimiento de vanguardia en el benchmark Multi-PIE.
• Superó al modelo profesor en todas las métricas en un marco de toma única.
• Se demostró una reiluminación realista con sombras arrojadas temporalmente consistentes.

Conclusiones:

• El método propuesto ofrece una solución robusta y eficiente en cuanto a datos para la reiluminación de rostros de vista única.
• La novedosa técnica de acondicionamiento modela eficazmente las interacciones luz-geometría.
• El marco de toma única logra un rendimiento y realismo superiores en escenarios desafiantes de la vida real.