RealLiFe: Reconstrucción de campo de luz en tiempo real mediante descenso de gradiente disperso jerárquico

Área de la Ciencia:

• Visión por Computadora
• Gráficos por Computadora
• Realidad Extendida (XR)

Sus antecedentes:

• La reconstrucción de campos de luz en tiempo real es crucial para las aplicaciones de Realidad Extendida (XR).
• Los métodos fuera de línea actuales ofrecen calidad a costa de la velocidad, mientras que los métodos en línea carecen de generalización o rendimiento.
• La variedad dispersa de las Imágenes de Múltiples Planos (MPI) presenta una oportunidad para la reconstrucción acelerada.

Objetivo del estudio:

• Presentar RealLiFe, un método novedoso para la reconstrucción de campos de luz en tiempo real a partir de entradas dispersas.
• Aprovechar la naturaleza dispersa de MPI para una generación de campos de luz eficiente y de alta calidad.
• Mejorar significativamente la velocidad y el rendimiento de las técnicas de reconstrucción de campos de luz existentes.

Principales métodos:

• Introducción de RealLiFe, un método de optimización de campo de luz que utiliza el Descenso de Gradiente Disperso Jerárquico (HSGD).
• Empleo de una Red Neuronal Convolucional (CNN) 3D para generar una MPI gruesa inicial.
• Optimización de la MPI gruesa utilizando gradientes MPI dispersos para un refinamiento rápido.

Principales resultados:

• RealLiFe logra una calidad visual comparable a los métodos fuera de línea de última generación.
• El método propuesto es, en promedio, 100 veces más rápido que las técnicas fuera de línea existentes.
• RealLiFe demuestra un rendimiento superior a otros enfoques en línea, con aproximadamente 2 dB más de PSNR.

Conclusiones:

• RealLiFe permite la reconstrucción de campos de luz de alta calidad y en tiempo real a partir de entradas dispersas.
• El enfoque de Descenso de Gradiente Disperso Jerárquico (HSGD) utiliza eficazmente la dispersión de MPI para la aceleración.
• Este método ofrece un avance significativo para aplicaciones en tiempo real en Realidad Extendida (XR).