Evaluación de grandes modelos de lenguaje en odontología pediátrica: un análisis basado en la taxonomía de Bloom

Área de la Ciencia:

• Inteligencia artificial en odontología
• Educación odontológica pediátrica
• Aplicaciones de procesamiento de lenguaje natural

Sus antecedentes:

• Los grandes modelos lingüísticos (LLM) son prometedores en varios campos, incluida la educación.
• La evaluación de las capacidades de LLM en dominios médicos especializados como la odontología pediátrica es crucial.
• La evaluación de la exactitud y el razonamiento de los LLM es esencial para su aplicación confiable.

Objetivo del estudio:

• Para evaluar el rendimiento de ChatGPT-4.0, Claude 3.5 Sonnet y DeepSeek R1.
• Evaluar su exactitud en la respuesta a preguntas de opción múltiple (MCQ) en odontología pediátrica.
• Analizar la calidad de las justificaciones proporcionadas por los LLM utilizando la taxonomía de Bloom.

Principales métodos:

• Se utilizó un conjunto de MCQ de odontología pediátrica.
• Se probó la precisión de respuesta de tres LLM prominentes.
• La calidad de la justificación se evaluó en función de los niveles de taxonomía de Bloom.

Principales resultados:

• El rendimiento varió entre los LLM evaluados.
• Se cuantificó la precisión de las respuestas a los MCQ de odontología pediátrica.
• Se evaluó la profundidad y la pertinencia de las justificaciones.

Conclusiones:

• El desempeño del LLM en los MCQ de odontología pediátrica requiere más investigación.
• La calidad de las justificaciones generadas por el LLM requiere una consideración cuidadosa.
• La investigación futura debería explorar la utilidad del LLM en la educación y la práctica dental.