Tokenización para Modelos Fundacionales Moleculares

Área de la Ciencia:

• Quimioinformática y química computacional
• Inteligencia artificial en el descubrimiento científico
• Representación y modelado molecular

Sus antecedentes:

• Los modelos fundacionales basados en texto son cruciales para el descubrimiento científico, particularmente en el diseño molecular.
• Los modelos moleculares fundacionales existentes están limitados por tokenizadores de vocabulario cerrado, lo que restringe su capacidad para representar el espacio molecular completo.
• Una evaluación sistemática de 35 tokenizadores reveló brechas significativas en la cobertura de la representación SMILES.

Objetivo del estudio:

• Evaluar sistemáticamente la cobertura de los tokenizadores moleculares existentes.
• Evaluar el impacto de la elección del tokenizador en la predicción de propiedades moleculares.
• Desarrollar nuevos tokenizadores con cobertura integral de las representaciones moleculares.

Principales métodos:

• Se evaluaron 35 tokenizadores, incluidos 20 específicos de química, para la cobertura de la representación SMILES.
• Se introdujeron modelos de lenguaje n-gram como sustitutos para evaluar el impacto del tokenizador.
• Se preentrenaron y ajustaron 18 codificadores estilo RoBERTa para la predicción de propiedades moleculares.
• Se desarrollaron dos nuevos tokenizadores, Smirk y Smirk-GPE, con cobertura completa de OpenSMILES.

Principales resultados:

• Se identificaron brechas significativas en la cobertura de los tokenizadores existentes para SMILES.
• Se demostró la efectividad de los modelos de lenguaje n-gram como sustitutos para la evaluación de tokenizadores.
• Se mostró la capacidad de los codificadores preentrenados estilo RoBERTa para la predicción de propiedades moleculares.
• Se introdujeron los tokenizadores Smirk y Smirk-GPE que integran grados de libertad nucleares, electrónicos y geométricos.

Conclusiones:

• Los tokenizadores existentes cubren inadecuadamente el espacio molecular, lo que requiere enfoques de vocabulario abierto.
• Los tokenizadores propuestos Smirk y Smirk-GPE proporcionan una cobertura completa de OpenSMILES y permiten aplicaciones más amplias.
• Se destaca la necesidad de puntos de referencia químicamente diversos y modelado de vocabulario abierto en la quimioinformática.