Hacia un descubrimiento de habilidades más eficaz en el aprendizaje por refuerzo mediante la incorporación de la...

Área de la Ciencia:

• Inteligencia Artificial
• Aprendizaje Automático
• Robótica

Sus antecedentes:

• El descubrimiento de habilidades en el aprendizaje por refuerzo (RL) tiene como objetivo crear comportamientos diversos para la adaptación de tareas.
• Los métodos actuales a menudo carecen de alcanzabilidad del estado, lo que limita la adaptación en entornos complejos.

Objetivo del estudio:

• Proponer un marco novedoso, Skill Discovery with State Reachability (SDSR), que integra la alcanzabilidad del estado en el aprendizaje de habilidades.
• Mejorar la capacidad de los agentes de RL para adaptarse a tareas posteriores garantizando una cobertura integral de estados.

Principales métodos:

• Se desarrolló SDSR, que incorpora un modelo de dinámica inversa condicionado por habilidades para expandir el espacio de estados accesibles.
• Se introdujo un mecanismo de optimización de meta-políticas para optimizar conjuntamente la diversidad y la alcanzabilidad de las habilidades.
• Se implementó SDSR a través de la selección basada en umbrales y el entrenamiento conjunto para diferentes dimensionalidades del entorno.

Principales resultados:

• SDSR mejora significativamente la diversidad de habilidades y la eficiencia de la exploración.
• El marco acelera la adaptación a tareas posteriores tanto en entornos 2D como robóticos.
• Se demostró la expansión del espacio de estados accesibles manteniendo una diversidad de habilidades estructurada.

Conclusiones:

• SDSR proporciona una base sólida y generalizable para RL en la toma de decisiones compleja.
• La integración explícita de la alcanzabilidad del estado supera las limitaciones de los métodos existentes de descubrimiento de habilidades.
• Los métodos propuestos mejoran el rendimiento de los agentes de RL en entornos diversos y desafiantes.