Control de Retroalimentación de Salida de Sistemas Lineales de Tiempo Continuo Utilizando Aprendizaje por Refuerzo...

Área de la Ciencia:

• Ingeniería de Sistemas de Control
• Aprendizaje Automático
• Robótica

Sus antecedentes:

• El aprendizaje por refuerzo inverso descontado (DIRL) típicamente requiere retroalimentación de estado completo, lo que limita su uso en aplicaciones del mundo real con solo datos de entrada-salida.
• Los sistemas de tiempo continuo (CT) desconocidos con estados parcialmente observables presentan desafíos de control significativos.
• El aprendizaje de funciones de valor descontadas desconocidas es crucial para la derivación de políticas de control óptimas.

Objetivo del estudio:

• Desarrollar un novedoso algoritmo DIRL de retroalimentación de salida (OPFB) sin modelo para el control lineal cuadrático (LQ) de sistemas CT desconocidos.
• Abordar las limitaciones de los métodos DIRL existentes permitiendo el aprendizaje a partir de datos de entrada-salida.
• Reconstruir los estados del sistema utilizando datos de salida de control experto para el aprendizaje de políticas.

Principales métodos:

• Se diseña un método de reconstrucción de estado utilizando datos de control experto y datos de salida medidos.
• Se presenta un algoritmo DIRL OPFB sin modelo para aprender iterativamente la función de valor desconocida y la política de control óptima.
• Se realiza un análisis riguroso de la convergencia del algoritmo y la unicidad de la solución.

Principales resultados:

• El algoritmo propuesto recupera eficazmente la política de control experta.
• Las simulaciones demuestran una eficiencia computacional superior en comparación con los métodos del estado del arte.
• El algoritmo maneja con éxito estados parcialmente observables y funciones de valor desconocidas.

Conclusiones:

• El novedoso algoritmo DIRL OPFB proporciona una solución eficaz para controlar sistemas CT desconocidos con información de estado limitada.
• El método mejora la aplicabilidad de DIRL en escenarios prácticos al utilizar solo datos de entrada-salida.
• El algoritmo ofrece un enfoque computacionalmente eficiente y robusto para aprender políticas de control óptimas.