LG-H-PPO: planificación de rutas de robot jerárquica fuera de línea en un grafo latente

Área de la Ciencia:

• Robótica; Inteligencia Artificial; Aprendizaje Automático

Sus antecedentes:

• La planificación autónoma de rutas de robots en entornos complejos es vital pero se ve desafiada por la toma de decisiones a largo plazo y las recompensas dispersas.
• El aprendizaje por refuerzo (RL) tradicional tiene dificultades con estos problemas, mientras que el aprendizaje por refuerzo jerárquico (HRL) fuera de línea descompone las tareas pero enfrenta dificultades con los espacios latentes continuos para subobjetivos.
• Los métodos avanzados de HRL fuera de línea existentes, como Guider y HIQL, utilizan espacios latentes pero sufren de optimización de políticas compleja e ineficiente en cuanto a muestras, lo que lleva a un entrenamiento inestable.

Objetivo del estudio:

• Proponer un nuevo marco de aprendizaje por refuerzo jerárquico fuera de línea, LG-H-PPO, para abordar las limitaciones de la exploración del espacio latente continuo en las políticas de alto nivel.
• Mejorar la eficiencia y estabilidad del entrenamiento de algoritmos HRL fuera de línea para tareas de navegación de secuencias largas simplificando el espacio de acción de la política de alto nivel.

Principales métodos:

• Introdujo un nuevo marco PPO jerárquico fuera de línea llamado LG-H-PPO.
• Se discretizó el espacio latente continuo en un "grafo latente" estructurado para transformar la planificación de alto nivel de la creación continua a la selección discreta.
• Se evaluó LG-H-PPO en los puntos de referencia estándar de navegación fuera de línea D4RL.

Principales resultados:

• LG-H-PPO demostró ventajas significativas sobre los puntos de referencia avanzados (Guider, HIQL) en la velocidad de convergencia y las tasas de éxito final de la tarea.
• La discretización del espacio latente redujo sustancialmente la dificultad de aprendizaje para la política de alto nivel.
• Los experimentos preliminares confirmaron la efectividad del enfoque propuesto en puntos de referencia estándar.

Conclusiones:

• La integración de estructuras de grafos en la planificación HRL de variables latentes simplifica el espacio de acción de la política de alto nivel, mejorando la eficiencia y estabilidad del entrenamiento.
• LG-H-PPO ofrece una dirección prometedora para la futura investigación de HRL fuera de línea, particularmente para tareas de navegación de secuencias largas.
• Este trabajo sienta las bases para combinar representaciones de variables latentes con planificación explícita de grafos en HRL fuera de línea.