El rendimiento del modelo de lenguaje ChatGPT-4o en la resolución del examen de especialización en oftalmología

Área de la Ciencia:

• Educación médica
• Inteligencia artificial
• Oftalmología

Sus antecedentes:

• Los modelos de lenguaje de inteligencia artificial (IA) como ChatGPT son cada vez más relevantes en la educación médica y la evaluación del conocimiento.
• Investigaciones anteriores indican la efectividad de la IA en los exámenes de licencia médica, lo que provocó una investigación sobre su papel en la capacitación de especialistas.
• El estudio aborda la creciente utilidad de las herramientas de IA para apoyar el proceso de capacitación de especialistas médicos.

Objetivo del estudio:

• Evaluar el rendimiento del modelo ChatGPT-4o en el examen de especialización estatal polaco (PES) en oftalmología.
• Evaluar la exactitud de las respuestas de ChatGPT-4o y su nivel de confianza declarado.
• Determinar la utilidad educativa potencial de la IA en la formación de especialistas en oftalmología.

Principales métodos:

• El estudio utilizó el examen oficial de oftalmología PES de primavera de 2024, que incluye 120 preguntas de opción múltiple.
• ChatGPT-4o fue proporcionado con reglamentos de examen y preguntas en polaco.
• Se verificó la precisión de las respuestas con la clave del Centro de Educación Médica (CEM) y se analizaron los niveles de confianza (1-5). El análisis estadístico incluyó pruebas chi-cuadrado y U de Mann-Whitney.

Principales resultados:

• ChatGPT-4o respondió correctamente 94 preguntas (78,3%), superando el puntaje de aprobación.
• No se encontró ninguna diferencia significativa en la precisión entre las preguntas clínicas y teóricas (p = 0,709).
• Los niveles de confianza más altos se asociaron significativamente con las respuestas correctas (p < 0,001), lo que indica una autoevaluación confiable.

Conclusiones:

• ChatGPT-4o muestra una alta eficacia en el PES de oftalmología, subrayando el potencial de la IA en la capacitación médica especializada.
• Las calificaciones de confianza del modelo pueden servir como un valioso indicador de la precisión de la respuesta.
• La investigación adicional y la supervisión de expertos son cruciales para la integración de la IA en la educación médica.