Aprendizaje de refuerzo para mejorar el rendimiento de la reacción química

Área de la Ciencia:

• Química computacional
• Aprendizaje automático en química
• Descubrimiento y desarrollo de fármacos

Sus antecedentes:

• Los métodos de aprendizaje profundo (DL) no se utilizan en la predicción y generación de reacciones químicas.
• Las reacciones químicas son complejas, involucrando múltiples moléculas y cambios de enlace.
• Optimizar el rendimiento y la selectividad en el descubrimiento de reacciones es crucial pero desafiante.

Objetivo del estudio:

• Introducir RE-EXPLORE, un nuevo enfoque que integra el aprendizaje por refuerzo profundo (RL) con modelos generativos profundos para el descubrimiento de reacciones químicas.
• Abordar las limitaciones de los métodos RL estándar en la exploración del espacio químico para nuevos reactivos y catalizadores.
• Mejorar el descubrimiento de sustratos de alto rendimiento y catalizadores enantioselectivos.

Principales métodos:

• Se utilizó un modelo generativo profundo basado en una red neuronal recurrente (RNN) previamente entrenado en grandes bases de datos químicas (ChEMBL, ZINC, COCONUT).
• Se integró el modelo generativo con el aprendizaje por refuerzo profundo (RL) y un regresor preentrenado para la estimación del rendimiento/selectividad.
• Diseñó una función de recompensa que incorpora un factor de singularidad basado en Tanimoto para promover la exploración y evitar la generación repetitiva de moléculas.
• Incorpora fragmentos de núcleo definidos por el usuario para guiar el aprendizaje de tipos de reacción específicos.

Principales resultados:

• RE-EXPLORE navegó con éxito por el espacio de reacción química, identificando regiones prácticamente significativas.
• El enfoque demostró mejoras notables en tres tipos distintos de reacción.
• Se han identificado sustratos de alto rendimiento y catalizadores quirales altamente enantioselectivos.
• La función de recompensa diseñada mejoró la exploración y condujo a mayores rendimientos en comparación con el RL estándar.

Conclusiones:

• RE-EXPLORE ofrece un poderoso marco basado en RL para acelerar el descubrimiento de reacciones químicas.
• El método ayuda a planificar la síntesis de compuestos importantes, incluidos los productos farmacéuticos.
• Este enfoque tiene el potencial de avanzar significativamente en el campo de la química computacional y el desarrollo de fármacos.