Rendimiento de los grandes modelos lingüísticos para responder preguntas frecuentes sobre la enfermedad celíaca

Área de la Ciencia:

• La inteligencia artificial en la medicina.
• Gastroenterología y Gastroenterología.
• Gestión de la dieta para el manejo de la dieta.

Sus antecedentes:

• La enfermedad celíaca (EC) requiere la adherencia a una dieta libre de gluten (GFD) durante toda la vida.
• Los pacientes y cuidadores buscan activamente información de salud en línea.
• Los grandes modelos lingüísticos (LLM) presentan un potencial como recursos educativos accesibles para la gestión del CeD.

Objetivo del estudio:

• Evaluar la precisión e integridad de los LLM populares al responder preguntas frecuentes (FAQ) sobre CeD y GFD.
• Para comparar el rendimiento de ChatGPT-4, Gemini Flash 2.5 y Claude Sonnet 3.7 en el suministro de información relacionada con el CeD.

Principales métodos:

• Un estudio transversal que incluye 12 preguntas frecuentes de CeD y GFD presentadas a tres LLMs.
• Evaluación independiente y calificación de las respuestas de LLM por seis gastroenterólogos pediátricos utilizando una escala Likert de 5 puntos.
• Los criterios de evaluación incluyeron precisión, integridad, claridad y calidad general.

Principales resultados:

• Los LLM obtuvieron una puntuación general media de 4.3/5, siendo alta la claridad (4.56) y la precisión (4.26).
• Las preguntas frecuentes relacionadas con la gestión recibieron puntuaciones más altas que las de diagnóstico (p=0,013).
• Gemini demostró un rendimiento superior en comparación con otros LLMs (p <0,01).

Conclusiones:

• Los LLM proporcionan en general información precisa y clara sobre el CeD y el GFD, especialmente para los aspectos de gestión.
• Estas herramientas de IA son prometedoras para la educación del paciente sobre la enfermedad celíaca.
• La supervisión clínica es esencial para verificar la exactitud de la información médica generada por la IA.