Confiabilidad de los chatbots basados en grandes modelos de lenguaje frente a los médicos como fuentes de información...

Área de la Ciencia:

• Ciencias dentales
• Inteligencia artificial

Sus antecedentes:

• Los chatbots de modelo de lenguaje grande (LLM) se utilizan cada vez más para la recuperación de información.
• Su fiabilidad en campos especializados como la ortodoncia requiere una evaluación exhaustiva.

Objetivo del estudio:

• Evaluar la fiabilidad de los chatbots de LLM como fuentes de información en ortodoncia.
• Comparar las respuestas de los chatbots con las de los dentistas generales y los especialistas en ortodoncia.

Principales métodos:

• Se plantearon ocho preguntas ortodóncicas verdaderas/falsas a cinco chatbots líderes.
• La consistencia de la respuesta del chatbot se midió utilizando el alfa de Cronbach.
• Las respuestas del chatbot se compararon con las respuestas del clínico mediante pruebas de Chi-cuadrado (p < 0,05).
• El valor educativo fue calificado utilizando la Escala de Calidad Global (GQS).

Principales resultados:

• Todos los chatbots demostraron una alta consistencia de respuesta (alfa > 0,80).
• Se observaron diferencias significativas (p < 0,05) entre las respuestas del chatbot y las del médico en la mayoría de las preguntas.
• DeepSeek logró la puntuación GQS más alta (mediana de 4.00), mientras que Copilot tuvo la más baja (mediana de 2.00).

Conclusiones:

• Los chatbots LLM proporcionan información consistente, aunque a menudo divergente, en comparación con los profesionales dentales.
• Los chatbots pueden ofrecer valiosos conocimientos de ortodoncia, pero pueden no ser confiables para temas controvertidos.