Superando a los pilotos campeones de Gran Turismo con el aprendizaje de refuerzo profundo

Área de la Ciencia:

• Inteligencia artificial
• La robótica
• Neurociencia computacional

Sus antecedentes:

• La toma de decisiones en tiempo real en los sistemas físicos que interactúan con los seres humanos presenta desafíos significativos.
• Las carreras de automóviles son un ejemplo de estos desafíos, que requieren maniobras tácticas complejas y un control preciso del vehículo en los límites físicos.
• Las simulaciones de carreras como Gran Turismo modelan con precisión estas dinámicas complejas y multi-agente.

Objetivo del estudio:

• Entrenar agentes de inteligencia artificial (IA) capaces de competir al más alto nivel en la simulación de carreras de Gran Turismo.
• Desarrollar una política de control integrada que combine la velocidad y la toma de decisiones tácticas para los corredores de IA.
• Crear una función de recompensa que promueva un comportamiento competitivo pero deportivo dentro de las reglas de la simulación.

Principales métodos:

• Utilizó algoritmos de aprendizaje por refuerzo avanzados, libres de modelos.
• Implementado entrenamiento de escenarios mixtos para exponer a los agentes a diversas condiciones de carrera.
• Desarrolló una función de recompensa especializada para equilibrar el rendimiento con el cumplimiento de las normas deportivas.

Principales resultados:

• Los agentes de IA entrenados, llamados Gran Turismo Sophy, demostraron la capacidad de competir con conductores de deportes electrónicos de clase mundial.
• Los agentes de IA exhibieron una velocidad excepcional y maniobras tácticas sofisticadas.
• Gran Turismo Sophy ganó con éxito una competencia cara a cara contra cuatro de los mejores jugadores humanos de Gran Turismo.

Conclusiones:

• El estudio muestra el potencial del aprendizaje por refuerzo profundo para controlar sistemas dinámicos complejos en dominios de interacción humana.
• Los agentes de IA pueden lograr un rendimiento de nivel de campeonato en entornos simulados que requieren velocidad e interacción estratégica.
• El control de la IA en dominios con normas humanas imprecisas, como la deportividad, presenta posibilidades y desafíos.