Aprendizaje de optimización de recompensas utilizando plasticidad de liberación estocástica

Área de la Ciencia:

• Neurociencia computacional
• Inteligencia artificial
• Aprendizaje automático

Sus antecedentes:

• La plasticidad sináptica permite el aprendizaje adaptativo en los sistemas neuronales y es un modelo biológicamente plausible para el aprendizaje impulsado por la recompensa.
• Un desafío clave es desarrollar reglas de plasticidad que coincidan con la robustez y la eficacia de la propagación inversa del error.

Objetivo del estudio:

• Introducir la Plasticidad de Liberación Estocástica Optimizada por Recompensa (RSRP), un nuevo marco de aprendizaje.
• Derivar una regla de plasticidad que maximice las señales de recompensa utilizando la estimación del gradiente natural.
• Evaluar el rendimiento y la estabilidad del RSRP en las tareas de aprendizaje por refuerzo y clasificación de dígitos.

Principales métodos:

• Modela la liberación sináptica como una distribución parametrizada dentro del marco RSRP.
• Emplear la estimación del gradiente natural para derivar la regla de aprendizaje RSRP.
• Validar RSRP en redes neuronales biológicamente plausibles y compararlo con la optimización de políticas proximales (PPO) y la propagación inversa de errores.

Principales resultados:

• RSRP demuestra un rendimiento competitivo y estabilidad en el aprendizaje por refuerzo, a la par con PPO.
• RSRP logra una precisión comparable a la retropropagación de errores en las tareas de clasificación de dígitos.
• La regularización de la recompensa se identifica como un mecanismo crucial para estabilizar el RSRP.

Conclusiones:

• RSRP proporciona una regla de aprendizaje de plasticidad sináptica robusta y efectiva.
• Los hallazgos tienen implicaciones tanto para la inteligencia artificial como para la neurociencia experimental, particularmente en escenarios de aprendizaje de refuerzo discontinuo.