Análisis comparativo del rendimiento de los LLM en un examen de certificación de radiografía práctica

Área de la Ciencia:

• La inteligencia artificial en la educación médica
• Examen de certificación por radiografía
• Procesamiento del lenguaje natural

Sus antecedentes:

• La creciente integración de la inteligencia artificial (IA) y los grandes modelos de lenguaje (MLL) en diversos campos profesionales requiere una evaluación de su rendimiento en dominios especializados.
• La evaluación de las capacidades de los LLM en la educación médica, en particular para los exámenes de certificación de alto riesgo, es crucial para comprender su potencial y limitaciones.

Objetivo del estudio:

• Comparar el rendimiento de cinco grandes modelos de lenguaje (LLM) en un examen de certificación de radiografía práctica.
• Identificar qué LLM exhibe la mayor precisión y analizar el rendimiento en diferentes categorías de contenido.

Principales métodos:

• Se realizó un estudio exploratorio y no experimental utilizando 200 preguntas de opción múltiple de un examen de certificación de radiografía práctica.
• Cinco LLMs ChatGPT, Claude, Copilot, Gemini y Perplexity fueron evaluados en función de su precisión al responder a estas preguntas.
• El análisis estadístico, incluidas las pruebas McNemar, se utilizó para determinar diferencias significativas en las tasas de precisión, con el rendimiento también desglosado por categorías y subcategorías de contenido.

Principales resultados:

• ChatGPT logró la mayor precisión general con un 83,5%, superando significativamente a Claude y Gemini.
• ChatGPT sobresalió en las preguntas de atención al paciente, respondiendo correctamente a todas, y mostró un gran rendimiento en seguridad y procedimientos.
• Copilot demostró la mayor precisión en la producción de imágenes, mientras que ChatGPT lideró en cuatro de las ocho subcategorías.

Conclusiones:

• ChatGPT fue el modelo de lenguaje grande más preciso para las preguntas del examen de certificación de radiografía de práctica evaluadas.
• A pesar del rendimiento superior, los usuarios deben tener cuidado con la IA generativa, verificando la exactitud de todas las respuestas debido a la posibilidad de generar información incorrecta.
• La investigación futura debe explorar el desempeño de LLM en exámenes de certificación en otras modalidades de imágenes médicas como la resonancia magnética, la medicina nuclear, la radioterapia y la ecografía.