¿Pueden los grandes modelos lingüísticos basados en inteligencia artificial ayudar a obtener información sobre el...

Área de la Ciencia:

• La informática médica
• Inteligencia artificial en el cuidado de la salud
• Tratamiento del dolor

Sus antecedentes:

• El síndrome de la boca ardiente (BMS, por sus siglas en inglés) presenta desafíos diagnósticos y terapéuticos.
• Los médicos pueden buscar recursos en línea para obtener información sobre BMS.
• Los modelos de lenguaje grande de inteligencia artificial (AI-LLM) se utilizan cada vez más para la recuperación de información médica.

Objetivo del estudio:

• Evaluar la utilidad, la calidad y la legibilidad de las respuestas AI-LLM para el síndrome de la boca ardiente.
• Para comparar el rendimiento de ChatGPT-4, Gemini y Microsoft Copilot en la respuesta a las preguntas relacionadas con BMS.

Principales métodos:

• Se formularon nueve preguntas clínicamente relevantes sobre el BMS.
• Las respuestas de tres AI-LLM fueron calificadas por 12 expertos internacionales sobre su utilidad.
• La calidad de la respuesta se evaluó utilizando la herramienta QAMAI y la legibilidad se midió utilizando las puntuaciones de Flesch-Kincaid.

Principales resultados:

• Todos los AI-LLM proporcionaron respuestas moderadamente útiles sin diferencias significativas de rendimiento global.
• Gemini demostró una calidad superior en relevancia, integridad y suministro de fuentes.
• La legibilidad promedió un nivel de 12o grado, con ChatGPT que requiere el mayor dominio.

Conclusiones:

• Los AI-LLM muestran potencial para proporcionar información confiable sobre el síndrome de la boca ardiente.
• La variabilidad en la calidad del contenido generado por IA, la legibilidad y la cita de fuentes requiere atención.
• La optimización continua de la IA es crucial para una integración clínica segura y efectiva.