Rendimiento de Modelos Lingüísticos Grandes Mejorados en Preguntas de Opción Múltiple de Prótesis Dental

Área de la Ciencia:

• Inteligencia artificial en odontología
• Procesamiento del lenguaje natural para la educación dental
• Evaluación del rendimiento de modelos lingüísticos grandes

Sus antecedentes:

• Los modelos lingüísticos grandes (LLM) se exploran cada vez más para dominios especializados como la odontología.
• Las estrategias de mejora como la generación aumentada por recuperación (RAG), el aprendizaje en contexto (ICL) y la votación mayoritaria tienen como objetivo mejorar la precisión y la fiabilidad de los LLM.
• Evaluar el rendimiento de los LLM en preguntas específicas del dominio es crucial para su aplicación práctica.

Objetivo del estudio:

• Evaluar la efectividad de la generación aumentada por recuperación (RAG), el aprendizaje en contexto (ICL) y la votación mayoritaria para mejorar los modelos lingüísticos grandes (LLM) en preguntas de prótesis dental.
• Comparar el rendimiento de los LLM mejorados con sus versiones base utilizando conjuntos de preguntas de prótesis dental tanto en chino como en inglés.
• Analizar los tipos de errores e identificar áreas en las que las mejoras de los LLM producen mejoras significativas.

Principales métodos:

• Se mejoraron dos modelos lingüísticos grandes base (OpenAI o1, DeepSeek-R1) utilizando técnicas de RAG, ICL y votación mayoritaria.
• Se utilizaron preguntas estandarizadas de opción múltiple en chino (C-MCQ) y en inglés (E-MCQ) en prótesis dental para la evaluación.
• El rendimiento se midió por la corrección de las respuestas, el análisis de errores y la comparación estadística (pruebas χ²) entre los modelos base y mejorados.

Principales resultados:

• Los LLM mejorados demostraron mejoras estadísticamente significativas en la precisión en C-MCQ (P < .001) y una reducción en los errores basados en el conocimiento (P < .008).
• Si bien los LLM mejorados mostraron una mayor precisión en E-MCQ, la diferencia no fue estadísticamente significativa (P = .145).
• Los beneficios de la mejora de los LLM, particularmente en la precisión y la reducción de errores, se observaron principalmente en el conjunto de preguntas en idioma chino.

Conclusiones:

• Las estrategias de mejora en tiempo de inferencia (RAG, ICL, votación mayoritaria) aumentan significativamente la precisión de los LLM para preguntas de prótesis dental en chino.
• Estas mejoras mitigan eficazmente ciertos errores pero no producen consistentemente mejoras estadísticamente significativas para las preguntas en inglés.
• Los LLM mejorados muestran potencial para procesar tareas relacionadas con la odontología y tienen potencial para aplicaciones en la educación odontológica.