MSFI: Integración de características espaciotemporales a escala múltiple en las redes neuronales de picos

Área de la Ciencia:

• Ingeniería neuromórfica
• Inteligencia artificial
• Visión por computadora

Sus antecedentes:

• Los sensores de visión dinámica (DVS) capturan información temporal con una alta resolución.
• Las redes neuronales de picos (SNNs) procesan flujos de eventos pero a menudo descuidan las dependencias espaciales.
• Las SNN existentes luchan por extraer características espaciotemporales complejas de los datos DVS.

Objetivo del estudio:

• Proponer un nuevo módulo plug-and-play para las RNS para mejorar la extracción de características espacio-temporales.
• Mejorar las capacidades representativas de los SNN en el tratamiento de los datos del DVS.
• Abordar las limitaciones de las RNS actuales en el manejo de información espacial y dinámica temporal compleja.

Principales métodos:

• Introducción del módulo de Integración de Características Espacio-temporales en escalas de tiempo múltiples (MSFI).
• El MSFI incorpora el Módulo Espaciotemporal a Corto Plazo (SSM) y el Módulo Espaciotemporal a Largo Plazo (LSM).
• Fusión de las características espaciotemporales extraídas con las características de punteado originales dentro de las SNN.

Principales resultados:

• El módulo MSFI propuesto mejora significativamente el rendimiento de la SNN.
• Mejoras demostradas en conjuntos de datos neuromórficos (CIFAR10- DVS, DVS128 Gesto, DVS128 Camino).
• Se obtuvieron resultados superiores en conjuntos de datos estáticos (CIFAR10/100, ImageNet) en comparación con las líneas de base.

Conclusiones:

• El módulo MSFI extrae e integra de manera efectiva las características espaciotemporales a escala múltiple.
• MSFI mejora la capacidad de los SNN para procesar datos complejos de DVS y fuentes de imágenes estáticas.
• El enfoque propuesto ofrece un avance significativo en las capacidades de SNN para tareas de visión.