Dominar Atari, Go, ajedrez y shogi mediante la planificación con un modelo aprendido

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Aprendizaje por refuerzo

Sus antecedentes:

• Las capacidades de planificación son cruciales para los agentes de inteligencia artificial.
• La planificación basada en árboles sobresale en dominios con simuladores perfectos (por ejemplo, ajedrez, Go).
• Los problemas del mundo real a menudo implican dinámicas ambientales complejas y desconocidas, que obstaculizan los métodos de planificación tradicionales.

Objetivo del estudio:

• Para introducir el algoritmo MuZero, un nuevo enfoque para la planificación de la inteligencia artificial.
• Demostrar la capacidad de MuZero para lograr un alto rendimiento sin conocimiento previo de la dinámica ambiental.
• Evaluar la efectividad de MuZero en diversos y visualmente complejos dominios.

Principales métodos:

• MuZero combina la búsqueda basada en árboles con un modelo aprendido.
• El algoritmo aprende un modelo iterable que predice la política, el valor y la recompensa.
• Este modelo aprendido apoya la planificación en entornos desconocidos.

Principales resultados:

• MuZero logró un rendimiento de vanguardia en 57 juegos de Atari, un dominio donde la planificación basada en modelos históricamente luchó.
• MuZero igualó el rendimiento sobrehumano de AlphaZero en Go, ajedrez y shogi sin conocimiento de las reglas del juego.
• El algoritmo demuestra fuertes capacidades de planificación en entornos visualmente complejos y dinámicos.

Conclusiones:

• El algoritmo MuZero representa un avance significativo en la planificación de la inteligencia artificial.
• El enfoque de modelo aprendido de MuZero supera las limitaciones de la planificación basada en modelos en entornos desconocidos.
• Este método ofrece una nueva herramienta poderosa para desarrollar agentes inteligentes capaces de abordar problemas complejos del mundo real.