Comparación de ChatGPT y DeepSeek para la Evaluación de Preguntas de Opción Múltiple en Educación Médica Ortopédica:...

Área de la Ciencia:

• Educación Médica; Inteligencia Artificial en la Atención Médica; Cirugía Ortopédica

Sus antecedentes:

• Las preguntas de opción múltiple (POM) son vitales para evaluar el conocimiento médico y el razonamiento clínico.; El desarrollo tradicional de POM requiere muchos recursos y es propenso a sesgos.; Los modelos de lenguaje grandes (LLM) ofrecen potencial para una evaluación eficiente y precisa de POM.

Objetivo del estudio:

• Comparar el rendimiento de ChatGPT y DeepSeek en la evaluación de POM de ortopedia.; Evaluar la corrección, el tiempo de respuesta y la confiabilidad de las respuestas generadas por LLM.; Identificar posibles ambigüedades en las POM respondidas incorrectamente por ambos modelos.

Principales métodos:

• Un estudio transversal analizó 209 POM de ortopedia.; Se utilizó ChatGPT y DeepSeek para responder POM, y se anotaron funciones específicas.; Se compararon análisis estadísticos (prueba χ2, prueba U de Mann-Whitney, κ de Cohen) de corrección, tiempos de respuesta y confiabilidad.; El profesorado de ortopedia revisó las POM respondidas incorrectamente por ambos LLM.

Principales resultados:

• ChatGPT logró una mayor corrección (80,38%) que DeepSeek (74,2%; P=.04).; ChatGPT tuvo tiempos de respuesta significativamente más cortos (10,40 s) en comparación con DeepSeek (34,42 s; P<.001).; ChatGPT mostró un acuerdo casi perfecto (κ=0,81), mientras que DeepSeek tuvo un acuerdo sustancial (κ=0,78).

Conclusiones:

• ChatGPT es más eficiente y preciso que DeepSeek para la evaluación de POM de ortopedia.; Los LLM muestran potencial para la integración en las evaluaciones de educación médica.; Algunas POM requieren revisión por parte del profesorado para mejorar la claridad, lo que destaca la necesidad de supervisión humana.