Mejora de PPO con políticas híbridas conscientes de la trayectoria

Área de la Ciencia:

• Inteligencia Artificial
• Aprendizaje Automático
• Robótica

Sus antecedentes:

• La optimización de políticas proximales (PPO) es un algoritmo líder en la política en el aprendizaje por refuerzo.
• PPO demuestra un rendimiento estable pero sufre de alta varianza y complejidad de muestra.
• Estas limitaciones dificultan su aplicación en tareas complejas de control continuo.

Objetivo del estudio:

• Introducir un nuevo algoritmo PPO de política híbrida (HP3O).
• Abordar los problemas de alta varianza y complejidad de muestra en PPO.
• Mejorar la eficiencia y el rendimiento de los agentes de aprendizaje por refuerzo.

Principales métodos:

• HP3O emplea un búfer de repetición de trayectorias que utiliza una estrategia de primero en entrar, primero en salir (FIFO).
• Se almacenan trayectorias recientes para mitigar la deriva de la distribución de datos.
• Las actualizaciones de políticas utilizan un lote que comprende la trayectoria de mejor rendimiento y otras muestreadas aleatoriamente.

Principales resultados:

• HP3O demostró una reducción empírica de la varianza.
• El algoritmo mostró un rendimiento mejorado sobre los métodos de referencia en entornos de control continuo.
• Se establecieron garantías teóricas de mejora de la política para HP3O.

Conclusiones:

• HP3O utiliza eficazmente trayectorias recientes para mejorar el aprendizaje de políticas.
• El método propuesto ofrece un enfoque prometedor para mejorar la eficiencia y la estabilidad de PPO.
• HP3O representa un avance significativo para el aprendizaje por refuerzo en dominios de control continuo.