Fusión de Políticas Duales para Aprendizaje por Refuerzo Multiagente Multitarea

Área de la Ciencia:

• Inteligencia Artificial
• Aprendizaje Automático
• Robótica

Sus antecedentes:

• El aprendizaje por refuerzo multiagente (MARL) destaca en tareas cooperativas pero tiene dificultades en entornos dinámicos y multitarea.
• Los métodos MARL multitarea existentes enfrentan desafíos con la transferencia negativa debido a conocimientos conflictivos de las tareas.

Objetivo del estudio:

• Introducir la Fusión de Políticas Duales para MARL Multitarea (DPF-MTMARL) para mejorar la adaptabilidad y mitigar la transferencia negativa.
• Desarrollar un método de entrenamiento eficiente para políticas específicas de la tarea dentro de DPF-MTMARL.
• Derivar condiciones teóricas para la descentralización de políticas y aplicarlas mediante regularización.

Principales métodos:

• DPF-MTMARL integra una política compartida para el conocimiento común y políticas específicas de la tarea para información única.
• Se propone un método de aprendizaje novedoso para el entrenamiento eficiente de políticas específicas de la tarea.
• Se derivan condiciones teóricas para la descentralización de políticas y se aplican utilizando un término de regularización.

Principales resultados:

• DPF-MTMARL supera significativamente a las líneas de base del estado del arte tanto en conjuntos de tareas homogéneas como heterogéneas.
• El método propuesto mitiga eficazmente la transferencia negativa en escenarios MARL multitarea.
• Se demostraron capacidades robustas de aprendizaje multitarea.

Conclusiones:

• DPF-MTMARL ofrece una solución robusta para MARL multitarea al equilibrar eficazmente el conocimiento compartido y específico.
• El método mejora la adaptabilidad y el rendimiento en entornos complejos y dinámicos.
• El análisis teórico respalda la implementación práctica y la descentralización de la política conjunta.