El aprendizaje por transferencia permite predicciones en biología de redes

Área de la Ciencia:

• Biología de la red
• La genómica
• Biología computacional

Sus antecedentes:

• El mapeo de redes de genes generalmente requiere extensos datos transcriptómicos, lo que limita los descubrimientos en enfermedades raras o tejidos de difícil acceso.
• El aprendizaje de transferencia, utilizando modelos previamente entrenados en grandes conjuntos de datos, ha demostrado tener éxito en otros campos al permitir el ajuste fino para tareas específicas con menos datos.

Objetivo del estudio:

• Desarrollar un modelo de aprendizaje profundo, Geneformer, para predicciones específicas de contexto en biología de redes, especialmente cuando los datos transcriptómicos son limitados.
• Para aprovechar el aprendizaje de transferencia mediante el entrenamiento previo de Geneformer en un gran cuerpo de transcriptomas de una sola célula.

Principales métodos:

• Desarrolló Geneformer, un modelo de aprendizaje profundo basado en el contexto y la atención.
• Geneformer entrenado en aproximadamente 30 millones de transcriptomas de una sola célula de una manera auto-supervisada.
• Geneformer afinado en varias tareas posteriores relacionadas con la cromatina y la dinámica de la red.

Principales resultados:

• Geneformer aprendió la dinámica de la red fundamental y la jerarquía durante el entrenamiento previo, codificado en sus pesos de atención.
• El ajuste fino de Geneformer en datos limitados mejoró constantemente la precisión predictiva en diversas tareas.
• Aplicado al modelado de enfermedades, Geneformer identificó posibles objetivos terapéuticos para la cardiomiopatía utilizando datos limitados de pacientes.

Conclusiones:

• Geneformer es un poderoso modelo de aprendizaje profundo preentrenado para aplicaciones de biología de red con datos limitados.
• El ajustador de genes puede acelerar el descubrimiento de los reguladores clave de la red de genes.
• El modelo es prometedor para identificar objetivos terapéuticos candidatos en el modelado de enfermedades.