StatLLM: Un conjunto de datos para evaluar el rendimiento de los modelos de lenguaje grandes en el análisis...

Área de la Ciencia:

• Aprendizaje automático
• Ciencia de datos
• Análisis estadístico

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) prometen automatizar el análisis estadístico.
• Es esencial evaluar la precisión del código generado por LLM antes de su adopción generalizada.
• La falta de conjuntos de datos de referencia dificulta la evaluación de los LLM en la codificación estadística.

Objetivo del estudio:

• Introducir StatLLM, un conjunto de datos de código abierto para evaluar el rendimiento de los LLM en el análisis estadístico.
• Proporcionar un punto de referencia completo para evaluar la precisión y la calidad del código estadístico generado por LLM.
• Facilitar los avances en las métricas de procesamiento del lenguaje natural, las capacidades de los LLM y el desarrollo de software estadístico.

Principales métodos:

• Desarrollado el conjunto de datos StatLLM con tareas de análisis estadístico, código SAS generado por LLM (GPT-3.5, GPT-4, Llama-3.1 70B) y puntuaciones de evaluación humana.
• Incluidas diversas tareas de análisis estadístico con descripciones de problemas, detalles del conjunto de datos y código SAS verificado por humanos.
• Recopiladas evaluaciones humanas expertas sobre la corrección, efectividad, legibilidad, ejecutabilidad y precisión de la salida del código generado.

Principales resultados:

• El conjunto de datos StatLLM proporciona un marco estructurado para evaluar el código estadístico generado por LLM.
• Las evaluaciones humanas ofrecen información sobre las fortalezas y debilidades de los diferentes LLM en la codificación estadística.
• El conjunto de datos permite la evaluación cuantitativa del rendimiento de los LLM en diversas tareas estadísticas.

Conclusiones:

• StatLLM es un recurso valioso para la evaluación comparativa y la mejora de los LLM en el análisis estadístico.
• El conjunto de datos apoya el desarrollo de herramientas de IA más precisas y confiables para la ciencia de datos y el aprendizaje automático.
• El trabajo futuro puede aprovechar StatLLM para mejorar las métricas de PNL y el software estadístico de próxima generación.