Evaluación del conocimiento de ortodoncia: Una comparación de cinco chatbots de IA

Área de la Ciencia:

• Inteligencia artificial
• Ortodoncia
• Informática médica

Sus antecedentes:

• El creciente uso de la IA en la atención sanitaria requiere la evaluación de su precisión en campos especializados.
• La ortodoncia, una especialidad dental compleja, requiere información precisa para una atención y educación eficaces del paciente.

Objetivo del estudio:

• Evaluar el rendimiento y la precisión de cinco chatbots de IA distintos en la entrega de información de ortodoncia.
• Comparar las respuestas de los chatbots de IA con el conocimiento de ortodoncia establecido y el rendimiento de los estudiantes de odontología.

Principales métodos:

• Se utilizaron ochenta preguntas de opción múltiple (POM) de materiales de examen de ortodoncia para probar cinco chatbots de IA: ChatGPT, DeepSeek, Gemini, MedgebraGPT y Meta AI.
• La precisión de los chatbots se evaluó comparando sus respuestas con las respuestas correctas y las respuestas de los estudiantes de odontología.
• Se calcularon los índices de dificultad de los ítems para las respuestas de la IA, con análisis separados para las POM dependientes e independientes.

Principales resultados:

• DeepSeek proporcionó la mayor proporción de respuestas correctas, mientras que MedgebraGPT proporcionó la menor.
• Gemini y DeepSeek mostraron una mejora en el rendimiento en una segunda ronda, con un acuerdo moderado y sustancial, respectivamente.
• El rendimiento de ChatGPT y Meta AI no mejoró en la segunda ronda; la fiabilidad interevaluador entre el rendimiento de la IA y el de los estudiantes fue baja y no estadísticamente significativa.

Conclusiones:

• DeepSeek demostró la mayor precisión en la provisión de información de ortodoncia entre los chatbots de IA probados.
• MedgebraGPT exhibió la menor precisión, lo que pone de manifiesto una variabilidad significativa en el rendimiento de la IA.
• Si bien los chatbots de IA poseen cierta comprensión de la ortodoncia, su precisión y coherencia requieren una mayor mejora para un uso fiable.