Imágenes de súper resolución mejoradas con aprendizaje profundo utilizando diodos de avalancha de un solo fotón de bajo costo. | JoVE Visualize

Área de la Ciencia:

Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador
La fotónica es la fotónica.
La inteligencia artificial es inteligencia artificial.

Sus antecedentes:

Las matrices de bajo costo de diodo de avalancha de fotón único (SPAD) ofrecen potencial para la detección de profundidad.
Los métodos existentes de súper resolución (SR) a menudo requieren una fusión compleja o recursos computacionales significativos.
Mejorar el rendimiento de las matrices SPAD de grado de consumo es crucial para una adopción más amplia.

Objetivo del estudio:

Desarrollar una solución de super-resolución (SR) basada en aprendizaje profundo (DL) sin fusión para matrices SPAD de bajo costo.
Para reconstruir imágenes de profundidad e intensidad de alta resolución (HR) a partir de entradas de baja resolución (LR).
Optimizar el modelo DL para una implementación eficiente del hardware y aplicaciones en tiempo real.

Principales métodos:

Se diseñó un modelo compacto de aprendizaje profundo (DL) para procesar datos de profundidad e intensidad de baja resolución (LR, 8x8).
El modelo reconstruye simultáneamente imágenes de alta resolución (HR, 50x50).
Se realizó la compresión del modelo a través de la cuantización INT8 para facilitar la implementación del hardware.
La evaluación se realizó en conjuntos de datos sintéticos y mediciones reales de una matriz SPAD VL53L8CX de STMicroelectronics.

Principales resultados:

El modelo DL demostró una alta fidelidad frente a las imágenes de la verdad de la tierra en conjuntos de datos sintéticos.
Se lograron detalles estructurales precisos en las reconstrucciones a partir de mediciones reales de la matriz SPAD.
La cuantización de INT8 resultó en una pérdida de precisión marginal al tiempo que permitió la implementación de hardware.
Tanto los modelos originales como los cuantificados lograron la reconstrucción SR de velocidad de video en una GPU de rango medio.

Conclusiones:

El modelo DL compacto propuesto mejora efectivamente el rendimiento de las matrices SPAD de bajo costo para imágenes de profundidad de súper resolución.
La eficiencia y precisión del modelo lo hacen adecuado para aplicaciones en tiempo real.
Su tamaño compacto y su potencial para el despliegue de hardware lo posicionan bien para sistemas de computación de borde, móviles y integrados.