Un circuito striatal oponente para el aprendizaje de refuerzo distributivo

Área de la Ciencia:

• La neurociencia
• Neurociencia computacional
• Aprendizaje automático

Sus antecedentes:

• Los avances en el aprendizaje automático utilizan el aprendizaje por refuerzo distributivo (RL) al considerar distribuciones de recompensas completas.
• El sistema de dopamina mesolímbico del cerebro de los mamíferos está implicado en la RL, principalmente a través de actualizaciones de valores medios en el estriado.
• Existe un conocimiento limitado sobre cómo las neuronas estriatales codifican los momentos de orden superior de las distribuciones de recompensa.

Objetivo del estudio:

• Investigar la codificación neuronal de los momentos de distribución de la recompensa en el cerebro de los mamíferos.
• Determinar el papel del estriado y la dopamina en la RL distributiva.
• Elucidar la contribución de los diferentes tipos de neuronas estriadas a la codificación de la varianza de recompensa.

Principales métodos:

• Neuropixels de alta densidad graban la actividad striatal en ratones durante una tarea de acondicionamiento clásica.
• Manipulación independiente de la media de recompensa, la varianza y la identidad del estímulo.
• Ablación crónica de entrada de dopamina, imágenes de calcio de dos fotones y optogenética.

Principales resultados:

• Las neuronas estriatales exhiben una codificación abstracta de la varianza de recompensa, desafiando los modelos tradicionales de RL.
• La ablación de la entrada de dopamina interrumpió las representaciones distributivas pero no la codificación del valor medio.
• Las neuronas espinosas medianas D1 y D2 codifican diferencialmente las colas derecha e izquierda de la distribución de la recompensa, respectivamente.

Conclusiones:

• El estriado y el sistema de dopamina mesolímbico apoyan la RL distributiva a través de la codificación de la varianza abstracta.
• La dopamina juega un papel crucial en el mantenimiento de estas representaciones distributivas.
• Un nuevo modelo de función estriatal aprovecha la oposición de las neuronas D1 / D2 para obtener beneficios distributivos de RL.