Evaluación de la validez, fiabilidad y legibilidad de los chatbots de IA para la diabetes mellitus gestacional: un...

Área de la Ciencia:

• Inteligencia artificial en la atención sanitaria
• Informática médica
• Salud pública

Sus antecedentes:

• La diabetes mellitus gestacional (DMG) es una creciente preocupación de salud mundial con riesgos significativos para madres y bebés.
• La información sanitaria precisa y accesible es crucial para el manejo de la DMG.
• El uso de chatbots de IA para consultas de salud está aumentando, pero la calidad de su información relacionada con la DMG es incierta.

Objetivo del estudio:

• Evaluar la precisión, fiabilidad y legibilidad de los chatbots de IA para la información sobre diabetes mellitus gestacional (DMG).
• Comparar el rendimiento de diferentes modelos e generaciones de IA en preguntas relacionadas con la DMG.
• Evaluar la idoneidad de los chatbots de IA para la educación del paciente en DMG.

Principales métodos:

• Se evaluaron seis chatbots de IA utilizando 200 preguntas de opción múltiple (MCQ) sobre DMG que cubrían epidemiología, diagnóstico, resultados y manejo.
• Se evaluaron cuatro chatbots con 15 preguntas básicas de educación sobre DMG identificadas a través de Google Trends y revisión de expertos.
• La fiabilidad se evaluó utilizando los puntos de referencia DISCERN, EQIP, GQS y JAMA; la legibilidad se cuantificó utilizando los índices ARI, CL, FKGL, FRES, GFI y SMOG.

Principales resultados:

• ChatGPT-5 demostró la mayor precisión en MCQ (92,17%), y los modelos más nuevos superaron consistentemente a los más antiguos.
• ChatGPT-5 también logró las puntuaciones de fiabilidad más altas para la información de cara al público, aunque las puntuaciones JAMA indicaron una escasa transparencia.
• Todos los chatbots generaron texto por encima del nivel de lectura recomendado, siendo ChatGPT-5 el que presentó el perfil de legibilidad más favorable, aunque todavía insuficiente.

Conclusiones:

• Los chatbots de IA actuales proporcionan información sobre la DMG generalmente precisa y moderadamente fiable, con mejoras notables en las generaciones más nuevas.
• La limitada transparencia y los altos niveles de lectura significan que los chatbots de IA aún no son recursos independientes ideales para la educación del paciente con DMG.
• Los chatbots de IA deben complementar, no reemplazar, el asesoramiento clínico y los materiales educativos desarrollados profesionalmente para la DMG.