Descomposición y transferencia de valores Q individuales para la toma de decisiones de aprendizaje de refuerzo...

Área de la Ciencia:

• La inteligencia artificial es inteligencia artificial.
• Aprendizaje automático Aprendizaje automático.
• Sistemas de Agentes Múltiples.

Sus antecedentes:

• Las tareas multi-agente parcialmente observables requieren una comunicación y toma de decisiones coordinadas.
• El acoplamiento entre los módulos de comunicación y toma de decisiones complica el aprendizaje por refuerzo multi-agente (MARL).

Objetivo del estudio:

• Proponer nuevos marcos basados en transferencias para aliviar el problema de acoplamiento en MARL.
• Permitir la formación independiente de módulos de comunicación para mejorar la eficiencia del aprendizaje.

Principales métodos:

• Introdujo el Marco de Transferencia Simple (STF) para convertir los problemas difíciles de RL en los más fáciles y el aprendizaje supervisado.
• Desarrolló el Marco de Descomposición y Transferencia (DTF) para descomponer aún más el aprendizaje supervisado en valores y desviaciones locales de Q.
• Utilizó la estimación neuronal de información mutua para la capacitación independiente de los generadores de mensajes dentro del DTF.

Principales resultados:

• Los marcos propuestos fueron validados utilizando dos arquitecturas basadas en la comunicación.
• Ambos marcos demostraron un rendimiento superior en comparación con los algoritmos de aprendizaje por refuerzo directo.
• Se observaron mejoras de rendimiento en varios tamaños de equipo en el entorno de combate con drones.
• La capacitación independiente facilitó efectivamente la transferencia de desviaciones aprendidas.

Conclusiones:

• Los marcos basados en transferencias propuestos abordan con éxito el desafío del acoplamiento en MARL.
• La formación independiente de módulos de comunicación es una estrategia efectiva para mejorar el aprendizaje.
• El DTF ofrece una dirección prometedora para la investigación futura en MARL descentralizado.