Sobre la consistencia de la puntuación automática con modelos de lenguaje grandes

Área de la Ciencia:

• Inteligencia Artificial
• Medición Educativa
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) demuestran potencial para tareas de puntuación automatizada.
• La inconsistencia en la puntuación de los LLM puede surgir de variaciones en el modelo y diferencias en los datos de entrenamiento.
• Comprender la consistencia de la puntuación de los LLM es crucial para una evaluación automatizada confiable.

Objetivo del estudio:

• Investigar la consistencia de la puntuación intra-LLM e inter-LLM en cinco LLM.
• Examinar el impacto de la configuración de la temperatura en la consistencia de la puntuación de los LLM.
• Evaluar la relación entre la consistencia de la puntuación y la precisión.
• Proponer y evaluar una estrategia de votación para mejorar la puntuación de los LLM.

Principales métodos:

• Se evaluó la consistencia de la puntuación de cinco LLM (Claude, DeepSeek, Gemini, GPT, Qwen).
• Se evaluó la consistencia en diferentes configuraciones de temperatura.
• Se utilizaron ítems de respuesta construida de los conjuntos de datos de educación científica y ASAP.
• Se implementó una estrategia de votación mayoritaria entre los LLM.

Principales resultados:

• Los LLM exhibieron una consistencia intra-LLM casi perfecta, independientemente de la temperatura.
• La consistencia inter-LLM fue moderada, mayor para ítems más fáciles.
• La consistencia intra-LLM superó la consistencia inter-LLM.
• La consistencia intra-LLM no se correlacionó con la precisión; la consistencia inter-LLM mostró una correlación positiva.
• La votación mayoritaria mejoró la precisión de la puntuación al combinar las diversas fortalezas de los LLM.

Conclusiones:

• Los LLM ofrecen una alta fiabilidad interna de puntuación pero un acuerdo externo variable.
• La consistencia inter-LLM es un mejor predictor de la precisión de la puntuación que la consistencia intra-LLM.
• Los métodos de conjunto, como la votación mayoritaria, pueden mitigar las inconsistencias de puntuación de los LLM y mejorar la precisión en las evaluaciones educativas.