Modelo de mundo de picos con neuronas multicompartimentadas para el aprendizaje por refuerzo basado en modelos

Área de la Ciencia:

• Neurociencia Computacional; Inteligencia Artificial; Aprendizaje Automático

Sus antecedentes:

• Las redes neuronales de picos (SNN) son prometedoras en percepción, pero están poco exploradas en el aprendizaje por refuerzo (RL) basado en modelos.; Los SNN existentes tienen dificultades con la memoria temporal a largo plazo necesaria para modelos de mundo precisos en RL.; La integración dinámica dendrítica de las neuronas biológicas ofrece información para mejorar las capacidades de los SNN.

Objetivo del estudio:

• Desarrollar un novedoso modelo de neurona multicompartimental para mejorar el procesamiento de información temporal en SNN.; Construir un modelo de mundo de picos (Spiking-WM) para el aprendizaje profundo por refuerzo basado en modelos utilizando SNN.; Evaluar el rendimiento y las capacidades de memoria a largo plazo de Spiking-WM.

Principales métodos:

• Se propuso un modelo de neurona multicompartimental para la integración de información no lineal y multidendrítica.; Se desarrolló Spiking-WM, integrando redes de estado-espacio de picos, convolucionales y de políticas.; Se evaluó Spiking-WM en DeepMind Control Suite y en múltiples conjuntos de datos de voz.

Principales resultados:

• Spiking-WM demostró un rendimiento superior al de los modelos SNN existentes en tareas de RL.; Se logró un rendimiento comparable a los modelos de mundo de redes neuronales artificiales (ANN) que utilizan unidades recurrentes con puerta (GRU).; El modelo de neurona multicompartimental superó a otros SNN en el procesamiento de secuencias de voz largas.

Conclusiones:

• El modelo de neurona multicompartimental propuesto mejora el procesamiento temporal de los SNN para RL.; Spiking-WM permite efectivamente el aprendizaje profundo por refuerzo basado en modelos con SNN.; Este enfoque avanza los SNN para la toma de decisiones complejas y el procesamiento de datos de secuencias largas.