De Artículos a Código: Generación Bajo Demanda de Algoritmos Centrales a Partir de Publicaciones Científicas

Área de la Ciencia:

• Biología computacional
• Bioinformática
• Aprendizaje automático

Sus antecedentes:

• El mantenimiento de software científico incurre en altos costos debido a dependencias y errores.
• Las publicaciones son registros canónicos, pero su traducción a código es difícil.
• Los modelos de lenguaje grandes (LLM) ofrecen potencial para la generación automatizada de código a partir de publicaciones.

Objetivo del estudio:

• Evaluar la viabilidad de generar código científico a partir de artículos publicados utilizando LLM.
• Evaluar el rendimiento de los LLM en la reproducción de algoritmos computacionales establecidos.
• Identificar limitaciones en los estándares de publicación actuales para la generación de código.

Principales métodos:

• Evaluación sistemática de LLM de última generación.
• Tarea a los LLM de implementar algoritmos centrales utilizando únicamente publicaciones científicas como entrada.
• Evaluación comparativa de diversos algoritmos, incluyendo bosques aleatorios, corrección de lotes y análisis de enriquecimiento de conjuntos de genes.

Principales resultados:

• Los LLM reprodujeron con éxito la funcionalidad a nivel de paquete para muchos algoritmos.
• El rendimiento del código generado por LLM a menudo fue indistinguible de las bibliotecas establecidas.
• Las discrepancias se debieron principalmente a detalles subespecificados en los manuscritos, no a limitaciones en el razonamiento de los LLM.

Conclusiones:

• La generación de código impulsada por la literatura es factible para algoritmos bien especificados.
• Los LLM pueden reducir la dependencia de bibliotecas de software mantenidas continuamente.
• Los estándares de publicación actuales necesitan mejoras para respaldar plenamente la generación automatizada de código y la reproducibilidad.