GATmath y GATLc: puntos de referencia integrales para evaluar los grandes modelos de lengua árabe

Área de la Ciencia:

• Inteligencia artificial
• Procesamiento del lenguaje natural
• Lingüística computacional

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) han avanzado la IA, pero su desarrollo requiere una evaluación sólida.
• La evaluación de las LLM árabes se ve obstaculizada por la falta de puntos de referencia y herramientas de evaluación integrales.
• Esta escasez limita el progreso y la aplicación en el mundo real de los modelos de lengua árabe.

Objetivo del estudio:

• Introduzca GATmath (7k preguntas) y GATLc (9k preguntas), nuevos puntos de referencia en árabe para el razonamiento multitarea y la comprensión del lenguaje.
• Proporcionar el primer conjunto de datos de razonamiento a gran escala y completo diseñado específicamente para el idioma árabe.
• Facilitar una evaluación rigurosa e impulsar el avance de las LLM árabes.

Principales métodos:

• Creó dos conjuntos de datos árabes a gran escala, GATmath y GATLc, derivados de la Prueba de Aptitud General (GAT).
• Los conjuntos de datos abarcan diversas categorías que requieren razonamiento, análisis semántico, comprensión del lenguaje y resolución de problemas matemáticos.
• Se evaluaron siete LLM destacados en estos puntos de referencia recientemente desarrollados.

Principales resultados:

• El LLM de mayor rendimiento logró solo un 66.9% (GATmath) y un 64.3% (GATLc) de precisión.
• Estos resultados ponen de relieve la dificultad significativa planteada por los conjuntos de datos GATmath y GATLc.
• Los LLM actuales de última generación demuestran limitaciones sustanciales en el razonamiento y la comprensión del idioma árabe.

Conclusiones:

• Los conjuntos de datos GATmath y GATLc presentan un desafío considerable para los LLM árabes existentes.
• Hay un margen sustancial de mejora en el desarrollo de modelos de lengua árabe más capaces.
• Estos puntos de referencia son cruciales para el avance de la investigación y el desarrollo en IA árabe.