Enlace de modelo de lenguaje químico: mezcla de texto y moléculas con adaptadores modulares

Área de la Ciencia:

• Química computacional
• Inteligencia artificial
• Descubrimiento de drogas

Sus antecedentes:

• Los modelos de lenguaje grande (LLM) y los modelos multimodales ofrecen el potencial para generar nuevas moléculas a partir de descripciones de texto.
• Los modelos multimodales actuales a menudo requieren entrenamiento desde cero, que es computacionalmente costoso y limita la escalabilidad.
• Los métodos existentes no aprovechan eficazmente los modelos de alta calidad previamente entrenados para esta tarea.

Objetivo del estudio:

• Proponer una nueva estrategia basada en adaptadores ligeros llamada Chemical Language Model Linker (ChemLML) para la generación molecular condicional a partir del texto.
• Permitir el uso de diversos modelos de texto previamente entrenados para la generación de moléculas sin un extenso reentrenamiento.
• Investigar el impacto de las representaciones moleculares (SMILES vs. SELFIES) en el rendimiento de la generación.

Principales métodos:

• Desarrolló ChemLML, una estrategia basada en adaptadores que vincula el texto previamente entrenado y los modelos de dominio molecular.
• Se entrenaron relativamente pocos parámetros de adaptador para adaptar los modelos de texto existentes a la generación de moléculas.
• Se evaluó el rendimiento utilizando un conjunto de datos filtrado de PubChem y se compararon las representaciones de SMILES y SELFIES.
• Inhibidores de proteínas candidatos generados y moléculas permeables a la membrana para su demostración práctica.

Principales resultados:

• ChemLML combina efectivamente modelos de dominio único previamente entrenados para la generación molecular condicional.
• La elección de la representación molecular tiene un impacto significativo en el rendimiento de la generación, siendo a menudo preferible SMILES.
• Identificó problemas con el conjunto de datos estándar de PubChem para la evaluación y proporcionó un conjunto de pruebas refinado.
• Se han generado con éxito moléculas candidatas con propiedades terapéuticas y farmacocinéticas potenciales.

Conclusiones:

• ChemLML ofrece un enfoque eficiente y escalable para la generación de texto a molécula mediante el aprovechamiento de modelos previamente entrenados.
• La elección de la representación molecular es crítica para la generación condicional exitosa.
• El método y el conjunto de datos desarrollados facilitan aplicaciones prácticas en el descubrimiento de fármacos y el diseño molecular.