Transformers multiónicos a gran escala para modelar interacciones proteína-ácido nucleico

Área de la Ciencia:

• Bioinformática; Biología Computacional; Biología Molecular

Sus antecedentes:

• Los modelos Transformer han avanzado en bioinformática, destacando en tareas mono-ómicas como la predicción de la estructura de proteínas.
• Los modelos actuales entrenados en tipos de datos únicos (proteínas o ácidos nucleicos) luchan por capturar interacciones biológicas intermodales.

Objetivo del estudio:

• Presentar OmniBioTE, el modelo fundacional multiónico de código abierto más grande para secuencias biológicas.
• Demostrar la capacidad del entrenamiento multiónico para capturar relaciones gen-proteína y propiedades de interacción.

Principales métodos:

• Se entrenó OmniBioTE con más de 250 mil millones de tokens de datos de secuencias mixtas de proteínas y ácidos nucleicos.
• Se evaluó el rendimiento de OmniBioTE en la predicción de la energía libre de unión y la identificación de residuos de proteínas involucrados en interacciones.

Principales resultados:

• OmniBioTE aprende representaciones conjuntas que mapean genes a secuencias de proteínas a partir de datos no etiquetados.
• Logró resultados de última generación en la predicción de la energía libre de unión para interacciones proteína-ácido nucleico.
• Demostró el aprendizaje emergente de información estructural y un rendimiento superior por FLOP en comparación con modelos mono-ómicos.

Conclusiones:

• Los modelos Transformer multiónicos ofrecen un enfoque unificado para el análisis de secuencias biológicas.
• OmniBioTE sirve como un modelo fundacional poderoso para avanzar en el descubrimiento y la comprensión biológica multiónica.