Hacia una holografía fotorrealista en tiempo real con redes neuronales profundas

Área de la Ciencia:

• Óptica y fotónica
• Visión por computadora
• Inteligencia artificial

Sus antecedentes:

• La holografía generada por computadora (CGH) es crucial para las pantallas 3D inmersivas, pero enfrenta limitaciones en el control focal, la oclusión y el rendimiento en tiempo real debido a simulaciones computacionalmente intensivas.
• Los métodos CGH existentes basados en la física luchan con el control focal por píxel y la oclusión precisa, mientras que las simulaciones de difracción de Fresnel crean una compensación entre la calidad de la imagen y el tiempo de ejecución, lo que dificulta las aplicaciones dinámicas.

Objetivo del estudio:

• Desarrollar una tubería de CGH basada en aprendizaje profundo para la síntesis en tiempo real de hologramas 3D de color fotorrealistas a partir de imágenes de profundidad RGB únicas.
• Superar las limitaciones de los métodos tradicionales de CGH en términos de costo computacional, control focal y oclusión para pantallas holográficas dinámicas.

Principales métodos:

• Se desarrolló y entrenó una red neuronal convolucional (CNN) de memoria eficiente en un conjunto de datos de CGH a gran escala (MIT-CGH-4K) que comprende 4.000 pares de imágenes y hologramas de profundidad RGB.
• La CNN fue entrenada utilizando funciones de pérdida basadas en ondas diferenciables, aproximándose a la difracción de Fresnel e incorporando un método de codificación de solo fase antialiasing.
• La tubería fue optimizada para el rendimiento en tiempo real en las GPU de consumo y demostró tasas de cuadro interactivas en dispositivos móviles y de IA de borde.

Principales resultados:

• La tubería de aprendizaje profundo sintetiza hologramas 3D de color fotorrealistas en tiempo real (60 Hz a una resolución de 1920x1080 en una GPU).
• El modelo CNN es altamente eficiente en memoria (<620 KB) y logra velocidades de cuadro interactivas en dispositivos móviles (1.1 Hz) y de borde (2.0 Hz).
• Hologramas tridimensionales de alta resolución, de aspecto natural y sin manchas, demostrados experimentalmente mediante el método desarrollado.

Conclusiones:

• El enfoque CGH basado en el aprendizaje avanza significativamente las capacidades de visualización 3D en tiempo real, haciendo que la holografía dinámica sea práctica.
• La tubería y el conjunto de datos desarrollados allanan el camino para la próxima generación de sistemas de realidad virtual y aumentada, aplicaciones holográficas móviles y tecnologías ópticas avanzadas.
• Este trabajo permite aplicaciones más amplias en campos como el diseño de metasurfaces, la manipulación microscópica, la microscopía holográfica y la impresión en 3D.