SciCUEval: Un conjunto de datos completo para evaluar la comprensión del contexto científico en modelos de lenguaje...

Área de la Ciencia:

• Dominios científicos que incluyen biología, química, física, biomedicina y ciencia de materiales.

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) demuestran una sólida comprensión contextual general.
• Los puntos de referencia existentes evalúan de manera inadecuada el rendimiento de los LLM en dominios científicos especializados.
• La complejidad de los datos científicos y las diversas modalidades plantean desafíos de evaluación únicos.

Objetivo del estudio:

• Presentar SciCUEval, un conjunto de datos de referencia novedoso para evaluar la comprensión del contexto científico de los LLM.
• Proporcionar una evaluación integral en múltiples disciplinas científicas y tipos de datos.
• Identificar las fortalezas y limitaciones específicas de los LLM actuales en el razonamiento científico.

Principales métodos:

• Construcción de SciCUEval, un punto de referencia que comprende diez subconjuntos de datos específicos de dominios.
• Integración de diversas modalidades de datos: tablas estructuradas, grafos de conocimiento y textos no estructurados.
• Evaluación sistemática de cuatro competencias básicas: identificación de información relevante, detección de ausencia de información, integración de múltiples fuentes e inferencia consciente del contexto.

Principales resultados:

• Se realizaron evaluaciones exhaustivas de los LLM de última generación en SciCUEval.
• El análisis detallado reveló un rendimiento variable de los LLM en diferentes dominios y tareas científicas.
• Se identificaron áreas específicas en las que los LLM sobresalen y tienen dificultades en la comprensión del contexto científico.

Conclusiones:

• SciCUEval sirve como una herramienta crucial para avanzar en las capacidades de los LLM en aplicaciones científicas.
• El punto de referencia proporciona información valiosa para el desarrollo de LLM científicos más sólidos y precisos.
• El desarrollo futuro de LLM debería centrarse en mejorar la interpretación de datos científicos y las habilidades de razonamiento.