Parámetros de ítems de bioquímica generados por IA en condiciones de prueba MST

Área de la Ciencia:

• Evaluación de Educación Médica
• Inteligencia Artificial en Educación
• Psicometría

Sus antecedentes:

• Investigar la precisión de herramientas de IA como ChatGPT 4o para estimar la dificultad de los ítems de evaluación médica.
• Comparar las predicciones de IA con parámetros derivados empíricamente de simulaciones de pruebas multietapa.

Objetivo del estudio:

• Evaluar la capacidad de ChatGPT 4o para estimar la dificultad de los ítems de evaluación médica.
• Comparar las estimaciones de dificultad generadas por IA con los parámetros derivados de simulación.

Principales métodos:

• Utilización de un diseño híbrido de simulación-validación.
• Generación de 80 preguntas de opción múltiple de bioquímica con parámetros de dificultad estimados por IA (parámetros b).
• Administración de preguntas a través de pruebas multietapa simuladas a 5000 examinados virtuales.

Principales resultados:

• Se encontró un acuerdo moderado (r=0.612) entre los parámetros de dificultad generados por IA y los derivados de simulación.
• ChatGPT 4o sobreestimó sistemáticamente la dificultad del ítem (sesgo medio=0.240).
• Las estimaciones de IA fueron menos precisas para ítems muy fáciles, con tasas de error más altas en comparación con ítems de dificultad media.

Conclusiones:

• ChatGPT 4o muestra potencial para la generación preliminar de ítems en educación médica, pero requiere calibración empírica y supervisión experta.
• La validación basada en simulación tiene limitaciones; los datos de rendimiento real de los estudiantes son cruciales para una validación psicométrica rigurosa.
• La integración de la IA en la evaluación de la educación médica requiere una validación cuidadosa para abordar sesgos sistemáticos y garantizar la precisión.