Un algoritmo de aprendizaje de refuerzo multiobjetivo basado en optimización de descomposición para obtener frentes...

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Optimización

Sus antecedentes:

• El aprendizaje por refuerzo multiobjetivo (MORL) busca frentes de Pareto (PF) en los procesos de decisión de Markov multiobjetivo (MOMDP).
• Los algoritmos MORL existentes luchan con PF no convexos, lo que limita su aplicabilidad.
• Esta limitación dificulta el descubrimiento de políticas diversas y óptimas en escenarios complejos.

Objetivo del estudio:

• Proponer un nuevo algoritmo MORL no lineal, MORL/D-VR, capaz de manejar PF no convexos.
• Proporcionar una garantía teórica para encontrar las políticas óptimas de Pareto independientemente de la forma de PF.
• Mejorar los métodos de gradiente de políticas para mejorar el rendimiento y la diversidad.

Principales métodos:

• Descomposición de los PDM en PDM de objetivo único utilizando el enfoque de Tchebycheff.
• Aplicación de un algoritmo mejorado de gradiente de política, gradiente de política de utilidad esperada (EUPG).
• Implementación de técnicas de reducción de la varianza y adaptación del vector de peso para mejorar el rendimiento.

Principales resultados:

• MORL/D-VR demuestra la óptimalidad teórica de Pareto para PF no convexos.
• El algoritmo logra el rendimiento deseable tanto en problemas de PF convexos como no convexos.
• Los resultados experimentales muestran que MORL / D-VR supera a los algoritmos MORL actuales.

Conclusiones:

• MORL/D-VR supera efectivamente las limitaciones de los algoritmos MORL existentes en el manejo de PF no convexos.
• El método propuesto ofrece una base teórica para lograr la óptimalidad de Pareto en MOMDP complejos.
• MORL/D-VR representa un avance significativo en MORL, mejorando el descubrimiento y el rendimiento de las políticas.