Evaluación comparativa de modelos de lenguaje grandes para la modelización predictiva en investigación biomédica con...

Área de la Ciencia:

• Biología computacional
• Bioinformática
• Genómica

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) son herramientas emergentes para la generación de código y el análisis de datos.
• La modelización predictiva en datos ómicos presenta desafíos complejos.

Objetivo del estudio:

• Evaluar el rendimiento de varios LLM en la finalización de tareas predictivas utilizando datos ómicos.
• Evaluar la precisión del código generado por LLM para predicciones biológicas.

Principales métodos:

• Se solicitó a los LLM descripciones de tareas, ubicaciones de datos y resultados objetivo para cuatro tareas de desafíos DREAM.
• Se ejecutó código R y Python generado por LLM para ajustar modelos de predicción.
• La precisión del modelo se determinó en conjuntos de prueba para la regresión de la edad gestacional y la clasificación del parto prematuro.

Principales resultados:

• Cuatro de los ocho LLM probados (o3-mini-high, 4o, DeepseekR1, Gemini 2.0) completaron con éxito al menos una tarea.
• La generación de código R (14/16 tareas) tuvo más éxito que Python (7/16 tareas).
• El o3-mini-high de OpenAI demostró el mejor rendimiento, completando 7/8 tareas.
• Los modelos de mejor rendimiento generados por LLM alcanzaron un rendimiento igual o superior al del equipo humano mediano y superaron al equipo humano superior en una tarea.

Conclusiones:

• Los LLM muestran un potencial significativo para democratizar la modelización predictiva en la investigación ómica.
• El código generado por LLM puede lograr un rendimiento competitivo o superior en comparación con los modelos desarrollados por humanos.
• Estos hallazgos sugieren que los LLM pueden aumentar la producción y la accesibilidad de la investigación en bioinformática.