Enfoque de Aprendizaje Q para Seguimiento H _∞ de Horizonte Finito con Observación Parcial

Área de la Ciencia:

• Teoría de Control
• Aprendizaje por Refuerzo
• Teoría de Juegos

Sus antecedentes:

• Los métodos existentes de aprendizaje por refuerzo (RL) a menudo requieren información completa del estado y se limitan a sistemas de horizonte infinito e invariantes en el tiempo.
• El control de horizonte finito con observaciones parciales y dinámica desconocida presenta desafíos significativos, incluida la necesidad de ecuaciones de Riccati variables en el tiempo.
• Los enfoques libres de modelos son deseables para sistemas donde la dinámica es desconocida, basándose únicamente en datos de entrada-salida.

Objetivo del estudio:

• Investigar el problema del control de seguimiento H-infinito de horizonte finito para sistemas lineales de tiempo discreto con observaciones parciales y dinámica desconocida.
• Desarrollar algoritmos de aprendizaje por refuerzo libres de modelos que superen las limitaciones de los enfoques existentes, particularmente en lo que respecta a la información de estado y el horizonte del sistema.
• Proporcionar un marco para resolver problemas de control variables en el tiempo sin requerir una política admisible inicial o un factor de descuento.

Principales métodos:

• Reconstrucción del estado del sistema a partir de trayectorias históricas de entrada-salida para crear una representación del sistema basada en datos.
• Definición de una función Q variable en el tiempo basada en datos de entrada-salida.
• Propuesta de dos algoritmos de aprendizaje Q minimax diseñados para control basado en datos y libre de modelos.

Principales resultados:

• Los algoritmos desarrollados reconstruyen con éxito los estados del sistema y definen funciones Q basadas en entrada-salida.
• Los algoritmos de aprendizaje Q minimax no requieren una política admisible inicial y evitan los factores de descuento, mejorando las garantías de estabilidad.
• El marco demuestra extensibilidad a sistemas de horizonte infinito y variables en el tiempo sin cambios estructurales.

Conclusiones:

• Los algoritmos propuestos de aprendizaje por refuerzo libre de modelos y basados en datos abordan eficazmente el problema del control de seguimiento H-infinito de horizonte finito para sistemas de tiempo discreto con observaciones parciales.
• Se demuestra la convergencia teórica y los resultados de simulación validan la efectividad de los algoritmos.
• Este trabajo ofrece un avance significativo en el aprendizaje por refuerzo para el control, particularmente para sistemas con dinámica desconocida e información de estado parcial.