Estrategia de exploración adaptativa en el aprendizaje por refuerzo basado en valores Q y cognición ambiental

Área de la Ciencia:

• La inteligencia artificial es inteligencia artificial.
• Aprendizaje automático Aprendizaje automático.
• Aprendizaje por Refuerzo Aprendizaje por Refuerzo

Sus antecedentes:

• El aprendizaje por refuerzo (RL) sobresale en la toma de decisiones secuenciales, pero tiene problemas con el equilibrio exploración-explotación.
• Los métodos existentes a menudo utilizan señales únicas, lo que lleva a una exploración ineficiente y soluciones subóptimas.

Objetivo del estudio:

• Desarrollar una estrategia de exploración adaptativa para el aprendizaje por refuerzo.
• Mejorar la eficiencia y el rendimiento del aprendizaje al abordar las limitaciones de las técnicas de exploración actuales.

Principales métodos:

• Proponer Var, una estrategia de exploración adaptativa que utiliza los valores Q y la cognición ambiental (diferencia de valor Q y bonificación de novedad).
• Integrar Var en el aprendizaje Q (Var-QL) y las redes Q profundas (Var-DQN).
• Introducir LRU-Var-QL para grandes entornos discretos tabulares, incorporando una caché de Lo Menos Usado Recientemente (LRU).

Principales resultados:

• Var fomenta la exploración amplia y profunda inicialmente, pasando a la explotación.
• LRU-Var-QL demostró una reducción de las acciones catastróficas en FrozenLake-v1.
• Var-QL y Var-DQN lograron mayores rendimientos acumulados y un aprendizaje más rápido en los juegos de Atari en comparación con las líneas de base.

Conclusiones:

• La estrategia Var propuesta mejora la exploración del aprendizaje por refuerzo.
• Los métodos basados en var muestran mejoras significativas en la velocidad de aprendizaje y el rendimiento en diversos entornos.