El rendimiento de ChatGPT en las evaluaciones médicas basadas en imágenes y las implicaciones para la educación...

Área de la Ciencia:

• La inteligencia artificial en la educación médica
• Los grandes modelos lingüísticos en el cuidado de la salud
• Tecnologías de evaluación médica

Sus antecedentes:

• Las herramientas de IA generativa, como ChatGPT, son prometedoras para la educación médica.
• El rendimiento de los grandes modelos de lenguaje y visión en las pruebas médicas basadas en imágenes está poco explorado.
• Esto limita la utilidad educativa más amplia de la IA en medicina.

Objetivo del estudio:

• Evaluar el rendimiento de GPT-4 y GPT-4 Omni (GPT-4o) en elementos de la muestra del Examen de Licenciamiento Médico de los Estados Unidos (USMLE) basado en imágenes.
• Explorar las implicaciones de estos modelos de IA para la educación médica.
• Evaluar la utilidad de la IA en la enseñanza basada en casos con imágenes médicas.

Principales métodos:

• Preguntas basadas en imágenes identificadas de los conjuntos de ejemplos de conocimientos clínicos de USMLE Paso 1 y Paso 2.
• Aplicó técnicas de ingeniería rápidas para generar respuestas de GPT-4 y GPT-4o.
• Las tasas de precisión calculadas y la aplicación explorada de la IA en escenarios de enseñanza basados en casos.

Principales resultados:

• GPT-4o logró una precisión del 89,5%, superando el 73,4% de GPT-4 en 38 preguntas del USMLE basadas en imágenes.
• Los modelos no estuvieron de acuerdo en la complejidad de la pregunta; GPT-4o ayudó a analizar y revisar las respuestas incorrectas.
• GPT-4o mostró potencial para la planificación de la instrucción, aunque la supervisión humana es esencial.

Conclusiones:

• Los modelos GPT pueden responder con precisión a preguntas de exámenes médicos basados en imágenes, con GPT-4o mostrando un mayor rendimiento.
• La ingeniería rápida mejora la utilidad de la IA en la planificación de la instrucción médica.
• La IA es prometedora para la educación médica, pero la supervisión de expertos es crítica para la confiabilidad.