MolDeBERTa: Modelo Fundacional para el Aprendizaje de Representaciones Moleculares Informadas por la Física y la...

Área de la Ciencia:

• Química Computacional
• Quimioinformática
• Aprendizaje Automático

Sus antecedentes:

• Los modelos fundacionales son cruciales para acelerar el descubrimiento de materiales y fármacos.
• Los modelos de lenguaje molecular existentes utilizan objetivos genéricos, descuidando las propiedades fisicoquímicas.
• Existe la necesidad de modelos informados por la estructura que unan las representaciones moleculares lingüísticas y físicas.

Objetivo del estudio:

• Introducir MolDe-BERTa, un codificador molecular autocontrolado informado por la estructura.
• Desarrollar nuevos objetivos de preentrenamiento para incrustar propiedades moleculares en el espacio latente.
• Avanzar los modelos de codificador basados en el aprendizaje no supervisado para el aprendizaje de representaciones informadas por la química.

Principales métodos:

• Se utilizó una estrategia de tokenización de codificación de pares de bytes (BPE) a nivel de byte.
• Se preentrenó MolDe-BERTa en un gran corpus de 123 millones de moléculas SMILES de PubChem.
• Se introdujeron tres nuevos objetivos de preentrenamiento para sesgar hacia propiedades moleculares y similitud estructural.

Principales resultados:

• MolDe-BERTa superó a los modelos de lenguaje enmascarados existentes en 9 puntos de referencia de MoleculeNet posteriores.
• Logró una reducción de hasta el 16% en el error de regresión.
• Demostró mejoras de hasta 3.0 puntos ROC-AUC en tareas de clasificación.

Conclusiones:

• MolDe-BERTa representa un avance significativo en el aprendizaje de representaciones no supervisado e informado por la química.
• El modelo permite el aprendizaje eficiente de datos al integrar información estructural y de propiedades.
• El código y los conjuntos de datos disponibles públicamente facilitan la investigación futura en el descubrimiento molecular.