Evaluación de la precisión de los chatbots de inteligencia artificial moderna en la respuesta a las consultas...

Área de la Ciencia:

• La odontología
• Inteligencia artificial
• La endodoncia

Sus antecedentes:

• Los chatbots de inteligencia artificial (IA) se utilizan cada vez más en el cuidado de la salud.
• La evaluación de la precisión de la IA en campos médicos especializados como la endodoncia es crucial.

Objetivo del estudio:

• Para comparar la precisión de los modelos Gemini (1.5 Flash, 1.5 Pro) y ChatGPT (3.5, 4) en la respuesta a las preguntas endodónticas.
• Evaluar el apoyo de la IA para los clínicos en endodoncia.

Principales métodos:

• Los expertos crearon cuarenta preguntas sí/no sobre 12 temas endodónticos.
• Cuatro modelos de IA fueron consultados, con nuevas sesiones para cada pregunta.
• La precisión de la respuesta se midió con el consenso de los expertos utilizando la prueba de kappa de Cohen.

Principales resultados:

• ChatGPT-3.5 logró una precisión del 80%, ChatGPT-4 77.5%, Gemini 1.5 Pro 72.5% y Gemini 1.5 Flash 60%.
• Los niveles de acuerdo variaron desde débiles para ChatGPT hasta mínimos para Gemini Flash.
• Se observó una variabilidad significativa en el rendimiento del chatbot de IA.

Conclusiones:

• Los modelos ChatGPT demostraron una precisión superior en comparación con los modelos Gemini para las consultas endodónticas.
• El rendimiento actual de los chatbots de IA plantea dudas sobre su fiabilidad para la toma de decisiones clínicas en endodoncia.
• Se necesita más investigación con escenarios complejos para evaluar completamente la IA en endodoncia.