Desentrañando las características de aprendizaje de los modelos transformer para el diseño molecular

Área de la Ciencia:

• Química computacional
• Descubrimiento de fármacos
• Aprendizaje automático

Sus antecedentes:

• Las redes transformer, adaptadas del procesamiento del lenguaje natural, se utilizan cada vez más en el diseño de fármacos.
• Su aplicación en el diseño de compuestos generativos basado en secuencias justifica la investigación de sus capacidades de aprendizaje.

Objetivo del estudio:

• Explorar las características de aprendizaje de los modelos transformer en el diseño de compuestos basado en secuencias.
• Determinar si estos modelos aprenden información relevante para las interacciones proteína-ligando.

Principales métodos:

• Se utilizó el diseño de compuestos generativos basado en secuencias como sistema modelo.
• Se analizaron las predicciones de modelos transformer para compuestos activos en función de las características de los datos de entrenamiento y prueba.

Principales resultados:

• Los modelos transformer requirieron al menos ~60% de similitud de secuencia entre los datos de entrenamiento y prueba para predicciones precisas.
• Las predicciones fueron impulsadas por asociaciones estadísticas entre patrones de secuencia y estructuras moleculares, lo que indica efectos de memorización.
• Los modelos no aprendieron información de secuencia objetivo crucial para la unión del ligando.

Conclusiones:

• El diseño de compuestos basado en secuencias utilizando transformers se basa en gran medida en la similitud de datos y la coincidencia de patrones estadísticos.
• Estos modelos no aprenden inherentemente información de secuencia objetivo biológicamente relevante para la unión del ligando.
• Se aconseja precaución al sobreinterpretar las capacidades de los modelos transformer actuales en este dominio.