Simulación proyectiva de energía libre (FEPS): inferencia activa con interpretabilidad

Área de la Ciencia:

• Neurociencia computacional
• Inteligencia artificial
• Sistemas complejos

Sus antecedentes:

• El Principio de la Energía Libre (FEP) y la Inferencia Activa (AIF) ofrecen un marco unificado para comprender el aprendizaje, la cognición, la percepción y la acción en los sistemas auto-organizados.
• Los agentes de aprendizaje por refuerzo (RL), que a menudo emplean redes neuronales profundas, se han desarrollado para realizar tareas de inferencia activa, con esfuerzos recientes centrados en mejorar el rendimiento en entornos complejos.

Objetivo del estudio:

• Desarrollar un enfoque de modelado de agentes interpretable dentro de las limitaciones de FEP y AIF, evitando las redes neuronales profundas.
• Introducir la simulación proyectiva de energía libre (FEPS) como un nuevo método para el modelado de agentes y la optimización de políticas.

Principales métodos:

• Los agentes FEPS utilizan recompensas internas para construir modelos mundiales de entornos parcialmente observables.
• Las políticas se derivan de minimizar la energía libre esperada, un principio básico de AIF.
• Se incorporan técnicas para gestionar los objetivos a largo plazo y mitigar los errores de predicción de la estimación del estado oculto.

Principales resultados:

• Los agentes FEPS resolvieron con éxito la ambigüedad en dos entornos de RL (respuesta cronometrada y navegación parcialmente observable) inspirados en la biología del comportamiento.
• Los agentes demostraron la capacidad de contextualizar las observaciones basadas únicamente en la precisión de la predicción.
• Las políticas óptimas se inferían de manera flexible para diversas observaciones objetivo dentro de los entornos.

Conclusiones:

• FEPS proporciona una alternativa interpretable a las redes neuronales profundas para los agentes de modelado bajo FEP y AIF.
• El modelo maneja efectivamente la ambigüedad ambiental y optimiza las políticas a través de la contextualización basada en la precisión de la predicción.
• FEPS es prometedor para el desarrollo de agentes adaptativos y dirigidos a objetivos en entornos complejos y parcialmente observables.