La regularización del valor Q más sobreestimado en espacios de acción discretos de alta dimensionalidad para el...

Área de la Ciencia:

• Robótica
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• El aprendizaje profundo por refuerzo (DRL) es vital para la manipulación robótica, pero se ve obstaculizado por los costos de recopilación de datos y los riesgos.
• El aprendizaje por refuerzo (RL) fuera de línea se entrena con datos existentes, pero sufre de sobreestimación del valor Q en espacios de acción discretos de alta dimensionalidad, lo que afecta la estabilidad.
• Las acciones fuera de distribución (OOD) aumentan rápidamente en estos espacios, exacerbando la sobreestimación del valor Q.

Objetivo del estudio:

• Introducir un novedoso algoritmo de RL fuera de línea, Most Overestimated Q value Regularization (MQR), diseñado para mitigar la sobreestimación del valor Q.
• Mejorar la estabilidad del entrenamiento y prevenir errores de convergencia de políticas en espacios de acción discretos de alta dimensionalidad para la manipulación robótica.
• Validar la efectividad de MQR en tareas robóticas desafiantes con diversas condiciones ambientales.

Principales métodos:

• Se desarrolló MQR, un algoritmo de RL fuera de línea que penaliza específicamente la acción con el valor Q más sobreestimado.
• Se implementó una estrategia de regularización dirigida, que difiere de las penalizaciones uniformes en los métodos existentes.
• Se evaluó MQR en una tarea de empuje y agarre robótico en entornos simulados y del mundo real con diversas disposiciones de objetos.

Principales resultados:

• MQR superó significativamente a los algoritmos de referencia en tareas de manipulación robótica.
• Se logró una tasa de limpieza del 96,94 % en simulaciones y del 99,04 % en configuraciones densas del mundo real.
• Se demostró una alta eficiencia de acción y estabilidad de entrenamiento, lo que resalta la solidez y escalabilidad de MQR.

Conclusiones:

• MQR mitiga eficazmente la sobreestimación del valor Q en espacios de acción discretos de alta dimensionalidad para el RL fuera de línea.
• El algoritmo muestra un fuerte rendimiento, solidez y adaptabilidad para la manipulación robótica en el mundo real.
• MQR tiene un potencial significativo para su implementación en aplicaciones de robótica industrial.