Desempeño de los modelos DeepSeek y GPT en las preguntas de preparación de la junta pediátrica: evaluación...

Área de la Ciencia:

• Inteligencia artificial en la educación médica
• Modelos lingüísticos amplios para el cuidado de la salud

Sus antecedentes:

• La investigación limitada evalúa el rendimiento de la IA en evaluaciones pediátricas estandarizadas.
• Este estudio aborda la necesidad de evaluar las capacidades de la IA en la preparación de la junta pediátrica.

Objetivo del estudio:

• Evaluar y comparar el rendimiento de tres LLM líderes en preguntas de preparación para el examen de la junta pediátrica.
• Para contextualizar el rendimiento de la IA en comparación con los puntos de referencia de los médicos humanos.

Principales métodos:

• Análisis de 266 preguntas de opción múltiple de la autoevaluación del PREP de 2023.
• Evaluación de DeepSeek-R1, ChatGPT-4 y ChatGPT-4.5
• Comparación del rendimiento de la IA con las tasas de aprobación publicadas por la Junta Americana de Pediatría por primera vez.

Principales resultados:

• DeepSeek-R1 logró una precisión del 98.1%, superando las tasas de aprobación típicas.
• ChatGPT-4.5 alcanzó un 96.6% de precisión, en el umbral superior del rendimiento humano.
• ChatGPT-4 demostró una precisión del 82,7%, comparable a las tasas de paso más bajas en humanos.
• Los modelos de IA lucharon con la integración de presentaciones clínicas complejas y el conocimiento de enfermedades raras.

Conclusiones:

• El rendimiento excepcional de DeepSeek-R1 sugiere potencial en educación médica y apoyo clínico.
• Se necesita más investigación para explorar las capacidades de la IA en el razonamiento clínico complejo.