Imágenes de súper resolución mejoradas con aprendizaje profundo utilizando diodos de avalancha de un solo fotón de...

Área de la Ciencia:

• Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador
• La fotónica es la fotónica.
• La inteligencia artificial es inteligencia artificial.

Sus antecedentes:

• Las matrices de bajo costo de diodo de avalancha de fotón único (SPAD) ofrecen potencial para la detección de profundidad.
• Los métodos existentes de súper resolución (SR) a menudo requieren una fusión compleja o recursos computacionales significativos.
• Mejorar el rendimiento de las matrices SPAD de grado de consumo es crucial para una adopción más amplia.

Objetivo del estudio:

• Desarrollar una solución de super-resolución (SR) basada en aprendizaje profundo (DL) sin fusión para matrices SPAD de bajo costo.
• Para reconstruir imágenes de profundidad e intensidad de alta resolución (HR) a partir de entradas de baja resolución (LR).
• Optimizar el modelo DL para una implementación eficiente del hardware y aplicaciones en tiempo real.

Principales métodos:

• Se diseñó un modelo compacto de aprendizaje profundo (DL) para procesar datos de profundidad e intensidad de baja resolución (LR, 8x8).
• El modelo reconstruye simultáneamente imágenes de alta resolución (HR, 50x50).
• Se realizó la compresión del modelo a través de la cuantización INT8 para facilitar la implementación del hardware.
• La evaluación se realizó en conjuntos de datos sintéticos y mediciones reales de una matriz SPAD VL53L8CX de STMicroelectronics.

Principales resultados:

• El modelo DL demostró una alta fidelidad frente a las imágenes de la verdad de la tierra en conjuntos de datos sintéticos.
• Se lograron detalles estructurales precisos en las reconstrucciones a partir de mediciones reales de la matriz SPAD.
• La cuantización de INT8 resultó en una pérdida de precisión marginal al tiempo que permitió la implementación de hardware.
• Tanto los modelos originales como los cuantificados lograron la reconstrucción SR de velocidad de video en una GPU de rango medio.

Conclusiones:

• El modelo DL compacto propuesto mejora efectivamente el rendimiento de las matrices SPAD de bajo costo para imágenes de profundidad de súper resolución.
• La eficiencia y precisión del modelo lo hacen adecuado para aplicaciones en tiempo real.
• Su tamaño compacto y su potencial para el despliegue de hardware lo posicionan bien para sistemas de computación de borde, móviles y integrados.