Primero regresa, luego explora

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• La robótica

Sus antecedentes:

• El aprendizaje por refuerzo (RL) tiene como objetivo la toma de decisiones autónoma, pero lucha con señales de recompensa escasas o engañosas.
• La exploración eficaz del medio ambiente es crucial para RL, pero sigue siendo un desafío importante.
• Los algoritmos de RL existentes a menudo olvidan los estados visitados anteriormente o no los revisan antes de explorar otros nuevos.

Objetivo del estudio:

• Para hacer frente a los desafíos de desprendimiento y descarrilamiento en la exploración de aprendizaje por refuerzo.
• Para introducir un nuevo algoritmo, Go-Explore, diseñado para una exploración más eficaz del entorno.
• Para demostrar la eficacia de Go-Explore en juegos complejos y tareas de robótica.

Principales métodos:

• Introdujo Go-Explore, una familia de algoritmos que hace hincapié en recordar los estados prometedores y volver a ellos antes de la exploración.
• Aplicado Go-Explore a juegos de Atari no resueltos anteriormente y puntos de referencia de exploración dura.
• Probado Go-Explore en una tarea robótica escasa de recoger y colocar.
• Políticas integradas condicionadas por objetivos para mejorar aún más la eficiencia de la exploración y gestionar la estocasticidad.

Principales resultados:

• Go-Explore resolvió con éxito todos los juegos de Atari no resueltos anteriormente.
• Logró un rendimiento de vanguardia en juegos de exploración dura, con mejoras significativas en la venganza de Montezuma y Pitfall.
• Demostró su aplicabilidad práctica en una tarea robótica de escasa recompensa.
• Las políticas condicionadas a objetivos mejoraron la eficiencia y la robustez de la exploración de Go-Explore hasta la estocasticidad.

Conclusiones:

• Los principios de recordar, regresar y explorar desde los estados son un enfoque poderoso y general para la exploración de RL.
• Go-Explore ofrece ganancias sustanciales de rendimiento, lo que sugiere una vía crítica hacia agentes de aprendizaje más inteligentes.
• Los hallazgos ponen de relieve la importancia de las estrategias de exploración estructuradas para superar las limitaciones de RL.