Modelos de Markov de Creencia Profunda para Inferencia POMDP

Área de la Ciencia:

• Inteligencia Artificial
• Aprendizaje Automático
• Aprendizaje por Refuerzo

Sus antecedentes:

• Los Procesos de Decisión de Markov Parcialmente Observables (POMDP) son cruciales para la toma de decisiones secuencial bajo incertidumbre.
• Los métodos de inferencia existentes para POMDP de alta dimensionalidad a menudo luchan con la escalabilidad y la falta de datos del estado de verdad fundamental.
• El aprendizaje profundo ofrece potencial para modelar dinámicas complejas y no lineales inherentes a estos problemas.

Objetivo del estudio:

• Introducir una novedosa arquitectura de aprendizaje profundo, el Modelo de Markov de Creencia Profunda (DBMM), para la inferencia eficiente de POMDP.
• Desarrollar un enfoque agnóstico a la formulación del modelo para manejar entornos complejos, de alta dimensionalidad y parcialmente observables.
• Permitir una inferencia de creencias robusta utilizando solo datos de observación, superando las limitaciones del cálculo exacto y los métodos de muestreo.

Principales métodos:

• Desarrolló el Modelo de Markov de Creencia Profunda (DBMM), extendiendo los modelos de Markov profundos al marco POMDP.
• Utilizó métodos de inferencia variacional para una inferencia de creencias eficiente directamente a partir de datos de observación.
• Aprovechó las redes neuronales para inferir y simular dinámicas de sistemas no lineales, acomodando alta dimensionalidad y tipos de variables mixtas.

Principales resultados:

• Los DBMM demostraron capacidades de inferencia eficientes y agnósticas a la formulación del modelo en problemas POMDP de referencia con variables discretas y continuas.
• Los parámetros de la red neuronal se actualizaron de manera eficiente en función de la disponibilidad de datos, lo que permitió una adaptación dinámica.
• Un agente de RL guiado por creencias de DBMM superó significativamente a las bases de referencia sin modelo, logrando un rendimiento casi óptimo en una tarea posterior.

Conclusiones:

• Los DBMM proporcionan una solución eficaz para la inferencia de creencias en POMDP complejos, superando las limitaciones de escalabilidad y datos de los métodos tradicionales.
• La capacidad de la arquitectura para inferir creencias permite la derivación de soluciones POMDP efectivas.
• Los DBMM muestran una utilidad práctica significativa, mejorando el rendimiento de los agentes de aprendizaje por refuerzo en escenarios de toma de decisiones desafiantes.