IA Explicable para la Evaluación de la Escritura en Inglés: Precisión, Equidad y Percepción del Aprendiz

Área de la Ciencia:

• Inteligencia Artificial en Educación
• Procesamiento del Lenguaje Natural
• Tecnología Educativa

Sus antecedentes:

• La Evaluación Automatizada de la Escritura (AWE) ofrece eficiencia pero a menudo carece de transparencia y equidad.
• Los marcos tradicionales de AWE pueden descuidar las percepciones de los alumnos y la equidad, lo que limita el valor educativo.
• La IA explicable (XAI) es crucial para la confianza y la comprensión en las herramientas educativas.

Objetivo del estudio:

• Proponer y validar un marco de IA explicable (XAI) para la Evaluación Automatizada de la Escritura (AWE).
• Integrar un modelo de validación multinivel (Marco de Evaluación de Tres Niveles - TLEF) que aborde la precisión, la equidad y la percepción.
• Investigar los sesgos de equidad y las percepciones de los alumnos en AWE en estudiantes multilingües.

Principales métodos:

• Se recopilaron datos de 764 estudiantes multilingües (CEFR A2-C1) utilizando tareas de escritura y cuestionarios.
• Se empleó muestreo aleatorio estratificado y puntuación dual por expertos en IA y humanos.
• Se utilizaron análisis estadísticos que incluyen correlación, RMSE, Equalized Odds y SEM.

Principales resultados:

• El sistema AWE mostró validez general (r = 0.82) pero reveló disparidades significativas.
• Los hablantes nativos de chino exhibieron menor acuerdo (0.72) y mayor RMSE (mediana 2.15).
• Los sesgos de equidad fueron más pronunciados en niveles de competencia más bajos (aprendices A2), y la equidad percibida medió la satisfacción del alumno.

Conclusiones:

• Replantear la equidad y la percepción como dimensiones clave de la explicabilidad mejora el fundamento teórico de AWE.
• El marco XAI propuesto ofrece un enfoque práctico para mejorar la transparencia, la equidad y la aceptación social en las tecnologías educativas.
• Abordar la equidad de la IA y la percepción del alumno es vital para avanzar en AWE en la transformación de la educación digital.