Solución de control óptimo inverso basada en datos para sistemas no lineales de tiempo continuo

Área de la Ciencia:

• Teoría de Control
• Aprendizaje Automático
• Robótica

Sus antecedentes:

• La estimación de funciones de costo es crucial para comprender y replicar el comportamiento experto en sistemas autónomos.
• Los métodos existentes de aprendizaje por refuerzo inverso a menudo requieren modelos del sistema o tienen altos costos computacionales.

Objetivo del estudio:

• Introducir un novedoso algoritmo libre de modelos y parcialmente libre de modelos para el control óptimo inverso.
• Estimar la función de costo de sistemas deterministas no lineales de tiempo continuo utilizando trayectorias expertas.

Principales métodos:

• El algoritmo utiliza trayectorias expertas de entrada-estado.
• Emplea por separado información de la política de control y la ecuación de Hamilton-Jacobi-Bellman para la estimación de parámetros.
• Se necesita una única resolución de problema de control óptimo hacia adelante para la inicialización en la versión libre de modelos.

Principales resultados:

• El algoritmo propuesto estima eficazmente los parámetros de la función de costo para sistemas deterministas no lineales de tiempo continuo.
• El enfoque libre de modelos reduce la complejidad computacional en comparación con los métodos existentes.
• La versión parcialmente libre de modelos ofrece una mayor eficiencia para sistemas con dinámica de entrada conocida.

Conclusiones:

• El algoritmo desarrollado proporciona una solución computacionalmente eficiente y ampliamente aplicable para el aprendizaje por refuerzo inverso.
• Su efectividad se valida a través de simulaciones, lo que indica un potencial para aplicaciones en el mundo real en sistemas autónomos y robótica.