Aprendizaje profundo por refuerzo para la intervención de redes regulatorias parcialmente observables

Área de la Ciencia:

• Biología Computacional
• Biología de Sistemas
• Bioinformática

Sus antecedentes:

• Las redes regulatorias génicas (GRN) controlan las funciones celulares.
• El análisis de GRN en el mundo real se ve desafiado por la observabilidad parcial y los datos ruidosos.
• Los métodos de intervención existentes a menudo asumen información completa del estado del sistema.

Objetivo del estudio:

• Desarrollar un marco de aprendizaje profundo por refuerzo para políticas de intervención óptimas en GRN parcialmente observables.
• Abordar las limitaciones de los métodos existentes que asumen una observabilidad completa.
• Gestionar las incertidumbres en los datos de expresión génica y la estocasticidad de la actividad génica.

Principales métodos:

• Extensión de los modelos de redes booleanas para incorporar la observabilidad parcial.
• Formulación de políticas de intervención óptimas en el espacio de creencias, utilizando estados de creencias para representar las distribuciones posteriores del estado.
• Aplicación de la red Q profunda (DQN) para la aproximación escalable de políticas óptimas.
• Demostración analítica de la convergencia a soluciones óptimas de programación dinámica bajo incertidumbre reducida.

Principales resultados:

• El marco propuesto de aprendizaje profundo por refuerzo maneja eficazmente la observabilidad parcial en las GRN.
• El estado de creencia captura con éxito la incertidumbre de los datos y la estocasticidad de la actividad génica.
• Los experimentos numéricos en una GRN de melanoma muestran un rendimiento mejorado para mantener los estados deseados y reducir la activación de genes relacionados con el cáncer en comparación con los métodos existentes.

Conclusiones:

• El marco desarrollado proporciona un enfoque robusto para diseñar estrategias de intervención en sistemas biológicos complejos y parcialmente observables.
• El aprendizaje profundo por refuerzo ofrece una solución escalable para optimizar las intervenciones en GRN.
• El método es prometedor para aplicaciones en medicina de precisión y control de enfermedades al dirigirse a vías regulatorias génicas específicas.