El rendimiento de los grandes modelos de lenguaje en el conocimiento dental relacionado con el fluoruro: un estudio...

Área de la Ciencia:

• La inteligencia artificial en la educación
• Ciencia y tecnología dentales
• Aplicaciones de procesamiento de lenguaje natural

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) se utilizan cada vez más en la educación médica y dental para el razonamiento y la comunicación clínicos.
• La eficacia de los LLM en el conocimiento odontológico especializado, en particular con respecto al fluoruro, requiere una evaluación rigurosa.
• Este estudio evalúa cuatro LLM principales: ChatGPT-4, Claude 3.5 Sonnet, Microsoft Copilot y Grok 3.

Objetivo del estudio:

• Evaluar el rendimiento de los modelos avanzados de lenguaje grande (LLM) en la transmisión de conocimientos dentales especializados relacionados con el fluoruro.
• Para comparar las capacidades de ChatGPT-4, Claude 3.5 Sonnet, Microsoft Copilot y Grok 3 en precisión, profundidad, claridad y evidencia.
• Determinar el potencial de las LLM como herramientas educativas complementarias en odontología.

Principales métodos:

• En un análisis comparativo transversal se utilizó un marco de métodos mixtos.
• Se administraron cincuenta preguntas de opción múltiple y diez preguntas abiertas sobre química, aplicaciones y seguridad del fluoruro a cada LLM.
• Los evaluadores expertos evaluaron las respuestas abiertas utilizando una rúbrica; los análisis estadísticos compararon el rendimiento de LLM.

Principales resultados:

• Todos los LLM evaluados demostraron una alta precisión en las preguntas de opción múltiple (88%-94%).
• Claude 3.5 Sonnet obtuvo puntuaciones estadísticamente superiores en la dimensión de claridad de las respuestas abiertas (p=0,009).
• Si bien se observaron pequeñas diferencias en la precisión, la profundidad y la evidencia, todos los LLM se desempeñaron fuertemente en la transmisión del contenido de fluoruro.

Conclusiones:

• Los LLM avanzados poseen un potencial significativo como herramientas complementarias para la educación dental y la comunicación del paciente con respecto al fluoruro.
• Claude 3.5 Sonnet presenta una clara ventaja en la claridad lingüística, lo que lo hace particularmente valioso para aplicaciones educativas.
• La evaluación continua, la validación clínica y la supervisión son cruciales para la integración segura y efectiva de los LLM en odontología.