Inteligencia artificial frente a evaluación humana de vídeos educativos de anestesia: un análisis comparativo...

Área de la Ciencia:

• Educación Médica; Inteligencia Artificial; Anestesiología

Sus antecedentes:

• YouTube es una plataforma popular para la educación médica, pero la calidad y la precisión de los vídeos son motivo de preocupación.
• La evaluación tradicional de la calidad se basa en expertos humanos que utilizan escalas como DISCERN, JAMA y GQS.
• Los modelos de lenguaje grandes (LLM) ofrecen nuevas posibilidades para la evaluación de contenido escalable y objetiva.

Objetivo del estudio:

• Comparar la calidad educativa de los vídeos de anestesia producidos por humanos frente a la IA.
• Evaluar la concordancia entre las calificaciones de expertos humanos y las evaluaciones de ChatGPT-5 de la calidad del vídeo.

Principales métodos:

• Se realizó un estudio transversal que analizó 40 vídeos de YouTube sobre anestesia (20 generados por humanos, 20 generados por IA).
• Dos anestesiólogos y ChatGPT-5 evaluaron los vídeos utilizando los criterios DISCERN, JAMA y GQS.
• Se calcularon la fiabilidad interevaluador (ICC) y las correlaciones (rho de Spearman).

Principales resultados:

• Los vídeos generados por humanos superaron significativamente a los vídeos de IA en las puntuaciones DISCERN y JAMA (p < 0,05).
• No se encontró ninguna diferencia significativa en las puntuaciones de la Escala de Calidad Global (GQS).
• ChatGPT-5 demostró una fuerte concordancia con las calificaciones de expertos humanos en todas las escalas (ρ > 0,76, p < 0,001).

Conclusiones:

• Los modelos de IA como ChatGPT-5 muestran la promesa de aproximar el juicio de expertos humanos para la evaluación de contenido educativo.
• Si bien el contenido generado por humanos sobresale en transparencia, el contenido generado por IA es comparable en estructura y fluidez.
• La evaluación asistida por IA puede proporcionar herramientas estandarizadas y eficientes para la selección de archivos de vídeo de educación médica.