DSAC-ICM: Un marco de aprendizaje por refuerzo distributivo para la planificación de rutas en terrenos 3D irregulares

Área de la Ciencia:

• Robótica
• Inteligencia Artificial
• Planificación de Rutas

Sus antecedentes:

• Los robots móviles autónomos son vitales para la seguridad pública y la defensa nacional.
• La planificación de rutas global en terrenos 3D irregulares presenta desafíos significativos para los métodos tradicionales.
• El Aprendizaje Profundo por Refuerzo (DRL) enfrenta problemas de sobreestimación de valores y exploración ineficiente.

Objetivo del estudio:

• Desarrollar un marco avanzado de DRL para la navegación robusta de robots terrestres en entornos 3D desafiantes.
• Abordar las limitaciones de los métodos DRL existentes, específicamente la sobreestimación de valores y la exploración ineficiente.

Principales métodos:

• Propuesto DSAC-ICM: un marco de Aprendizaje Profundo por Refuerzo Distributivo Actor-Crítico Suave combinado con un Módulo de Curiosidad Intrínseca (ICM).
• Aprendió la distribución de probabilidad completa de los retornos de estado-acción para mitigar la sobreestimación de valores.
• Integró ICM para generar recompensas intrínsecas para una exploración mejorada de estados novedosos.

Principales resultados:

• DSAC-ICM permitió capacidades de navegación efectivas en entornos realistas de terrenos 3D irregulares.
• Logró un equilibrio superior entre la calidad de la ruta y el costo computacional en comparación con los algoritmos tradicionales.
• Demostró una convergencia significativamente más rápida y mayores retornos que otras líneas de base de DRL.

Conclusiones:

• DSAC-ICM ofrece una solución robusta y eficiente para la planificación de rutas de robots autónomos en terrenos 3D complejos.
• El método propuesto supera los desafíos clave de DRL, allanando el camino para robots terrestres más capaces.