La corrección es su propia recompensa: arranque de señales de error en el aprendizaje de refuerzo autoguiado

Área de la Ciencia:

• La neurociencia
• Neurociencia computacional
• El comportamiento de los animales

Sus antecedentes:

• El aprendizaje por refuerzo (RL) generalmente requiere funciones de recompensa externas para la adquisición de habilidades.
• El aprendizaje autodirigido, como el aprendizaje de la canción de los pinzones cebra, desafía a RL al carecer de una guía externa explícita.
• La base neuronal para la evaluación del rendimiento generado internamente en el aprendizaje de canciones sigue sin estar clara.

Objetivo del estudio:

• Proponer y modelar un circuito neuronal unificado para la memorización de canciones y la evaluación del rendimiento.
• Investigar cómo la cancelación predictiva de la canción de tutor puede generar señales de error para el aprendizaje autodirigido.
• Para demostrar que estas señales de error pueden entrenar a un agente de aprendizaje por refuerzo.

Principales métodos:

• Desarrolló modelos computacionales de un circuito local del cerebro anterior involucrado en el aprendizaje de canciones.
• Aprendizaje simulado a través de la plasticidad sináptica, centrándose en la cancelación predictiva de la entrada auditiva de la canción del tutor.
• Analizó la actividad de la población neuronal para la codificación de errores y modeló el proceso de aprendizaje en etapas.

Principales resultados:

• Los circuitos aprendidos generaron códigos de error de población que señalaban desajustes en el rendimiento.
• La plasticidad anti-Hebbiana en las interneuronas inhibidoras se explica mejor con datos experimentales.
• El aprendizaje del modelo se produjo en dos fases distintas: agudización de la sensibilidad al error y minimización de la respuesta.
• La señal de error generada entrenó con éxito a un agente de aprendizaje de refuerzo para replicar los cantos de las aves.

Conclusiones:

• Un solo circuito neuronal que utiliza la cancelación predictiva puede servir tanto para la memoria de la canción como para la evaluación del rendimiento.
• Las reglas de aprendizaje local son suficientes para generar señales de error para el aprendizaje conductual autodirigido.
• Este mecanismo proporciona una posible explicación de cómo los animales aprenden comportamientos complejos sin recompensas externas.