Análisis de los datos de registro de un sistema internacional de evaluación educativa en línea: un enfoque de...

Área de la Ciencia:

• Medición de la educación
• Psicometría
• Ciencia de los datos

Sus antecedentes:

• Las evaluaciones basadas en computadora generan extensos datos de registro.
• El análisis de estos datos ofrece información sobre los procesos de resolución de problemas de los examinados.
• Los métodos existentes pueden no capturar completamente la dinámica de las secuencias de acción.

Objetivo del estudio:

• Proponer un nuevo modelo de supervivencia en varios estados (MSM, por sus siglas en inglés) para analizar los datos de la secuencia de acción de los registros de evaluación.
• Investigar los factores que influyen en la velocidad de transición entre las acciones en los sujetos de la prueba.
• Identificar las acciones clave que diferencian los patrones correctos e incorrectos de resolución de problemas.

Principales métodos:

• Desarrolló un modelo de supervivencia de varios estados (MSM) para las secuencias de acción de los archivos de registro.
• Tiempos de reacción modelados entre acciones secuenciales.
• Probabilidades de transición comparadas entre grupos de respuestas correctas e incorrectas.
• Se utilizaron estudios de simulación y análisis de sensibilidad para la validación de modelos.
• Aplicó el modelo a los datos del Programa para la Evaluación Internacional de las Competencias de los Adultos (PIAAC).

Principales resultados:

• El MSM modela efectivamente las velocidades de transición entre las acciones.
• Acciones específicas identificadas que distinguen entre respuestas correctas e incorrectas.
• Reveló distintos patrones de resolución de problemas asociados con las trayectorias de respuestas correctas versus incorrectas.
• El modelo demostró su robustez mediante simulaciones y análisis de sensibilidad.

Conclusiones:

• El MSM propuesto proporciona una herramienta poderosa para analizar comportamientos complejos de resolución de problemas en evaluaciones basadas en computadoras.
• La comprensión de las dinámicas de transición a la acción puede mejorar la retroalimentación diagnóstica y el diseño de la evaluación.
• El enfoque ofrece una visión matizada de los procesos cognitivos durante las evaluaciones, ejemplificada por los datos del PIAAC.