Capacidades bioinformáticas de los grandes modelos de lenguaje (LLM)

Área de la Ciencia:

• Bioinformática y biología computacional
• La inteligencia artificial en las ciencias de la vida
• Análisis de datos genómicos

Sus antecedentes:

• La bioinformática, el análisis de secuencias biológicas (ADN, ARN, proteínas), es crucial para la investigación biológica.
• La naturaleza computacional de la bioinformática la hace muy adecuada para la automatización impulsada por la IA y la aceleración del descubrimiento científico.
• Los grandes modelos lingüísticos de propósito general (LLM) se exploran cada vez más por su potencial en todas las disciplinas científicas.

Objetivo del estudio:

• Evaluar las capacidades bioinformáticas de los populares LLM de uso general.
• Comparar el rendimiento del LLM con el rendimiento humano en un conjunto estandarizado de preguntas de bioinformática.
• Identificar las fortalezas y debilidades de los LLM en distintos ámbitos de la bioinformática.

Principales métodos:

• Utilizó 104 preguntas de Rosalind, una plataforma educativa de bioinformática.
• Se evaluaron tres LLM: GPT-3.5, Llama-3-70B y GPT-4o.
• Comparó el rendimiento de LLM con los datos de 110 a 68.760 participantes humanos en todo el mundo.

Principales resultados:

• GPT-3.5 logró la mayor precisión (58%), seguido por Llama-3-70B (47%) y GPT-4o (47%).
• El 71% de las preguntas fueron respondidas correctamente por al menos un LLM.
• El rendimiento de LLM varió según la categoría, sobresaliendo en el análisis de ADN pero luchando con la alineación de secuencias y el ensamblaje del genoma, reflejando las tendencias de rendimiento humano.

Conclusiones:

• Los LLM demuestran capacidad para el conocimiento biológico, el razonamiento, el análisis estadístico y la generación de códigos en bioinformática.
• El rendimiento del LLM en tareas de bioinformática a menudo se correlaciona con el rendimiento humano, lo que indica el potencial como herramientas para la investigación científica.
• Se justifica un mayor desarrollo de los LLM para mejorar su utilidad y fiabilidad en aplicaciones bioinformáticas complejas.