Aprendizaje de modelos de ruido informados por la física a partir de fotogramas oscuros para la eliminación de ruido de imágenes RAW con poca luz | JoVE Visualize

Área de la Ciencia:

Visión por Computadora
Procesamiento de Imágenes
Aprendizaje Automático

Sus antecedentes:

La eliminación de ruido de imágenes RAW con poca luz actual depende en gran medida de datos sintéticos.
Los métodos existentes de modelado de ruido (basados en física y aprendizaje) tienen limitaciones en precisión y dependencia de datos.
El modelado de ruido eficaz es crucial para la aplicación práctica de algoritmos de eliminación de ruido.

Objetivo del estudio:

Desarrollar una estrategia novedosa para entrenar métodos de eliminación de ruido con poca luz aprendiendo modelos de ruido a partir de fotogramas oscuros, reduciendo la dependencia de datos reales emparejados.
Introducir un proxy de ruido neural informado por la física (PNNP) eficiente para el modelado preciso del ruido del sensor del mundo real.
Mejorar la efectividad y practicidad de los datos sintéticos para la eliminación de ruido de imágenes RAW con poca luz.

Principales métodos:

Se propuso una estrategia para aprender modelos de ruido a partir de fotogramas oscuros, eliminando la necesidad de datos reales emparejados.
Se introdujo el proxy de ruido neural informado por la física (PNNP) que integra los principios físicos en las redes neuronales.
Se desarrollaron tres técnicas clave: desacoplamiento de ruido guiado por física (PND), modelo proxy informado por física (PPM) y pérdida de distribución diferenciable (DDL).

Principales resultados:

PNNP caracteriza eficazmente las distribuciones de ruido del sensor del mundo real.
PND maneja de forma flexible los niveles de ruido variables, reduciendo la complejidad del modelado.
PPM y DDL mejoran la precisión y exactitud del modelado de ruido sintético al incorporar restricciones físicas y supervisión explícita de la distribución.
Demostró un rendimiento superior en tareas prácticas de eliminación de ruido de imágenes RAW con poca luz en conjuntos de datos públicos.

Conclusiones:

La estrategia propuesta de modelado de ruido basada en fotogramas oscuros rompe significativamente la dependencia de datos para entrenar métodos de eliminación de ruido.
PNNP ofrece un enfoque potente y eficiente para aproximar el ruido del sensor del mundo real.
El método muestra un potencial significativo para avanzar en las aplicaciones prácticas de eliminación de ruido de imágenes con poca luz.