Evaluación de la exactitud, legibilidad y fiabilidad de los prospectos para pacientes generados por IA sobre la...

Área de la Ciencia:

• Oftalmología
• La informática médica
• Inteligencia artificial en el cuidado de la salud

Sus antecedentes:

• Los folletos informativos para el paciente son cruciales para el consentimiento informado y la preparación quirúrgica.
• La evaluación de la calidad de la información médica generada por la IA es esencial para la seguridad del paciente.
• La queratoplastia endotelial de membrana de Descemet (DMEK) es un procedimiento especializado de trasplante de córnea.

Objetivo del estudio:

• Evaluar la legibilidad, confiabilidad y precisión de los folletos de información para pacientes generados por LLM en DMEK.
• Comparar la calidad de los folletos generados por LLM con un estándar escrito por un clínico.
• Identificar el LLM de mejor rendimiento para crear información quirúrgica DMEK amigable con el paciente.

Principales métodos:

• Se instó a siete LLM a crear folletos informativos para pacientes con DMEK.
• Los folletos se evaluaron utilizando métricas de legibilidad (FKG, FRE, ARI, Gunning Fog).
• Se evaluó la fiabilidad (DISCERN, PEMAT), la desinformación y las referencias; un sistema de puntuación normalizó los resultados.

Principales resultados:

• El prospecto generado por el médico obtuvo la puntuación más alta (92%).
• Claude 3.7 Sonnet (77,8%) fue el LLM de mejor rendimiento, mostrando buena legibilidad y referencia.
• ChatGPT-4o (70,9%) siguió, pero carecía de referencias; otros LLM obtuvieron puntuaciones de moderadas a bajas.

Conclusiones:

• Los LLM demuestran potencial para la generación de materiales educativos para pacientes sobre el DMEK.
• Existen variaciones significativas en la fiabilidad y precisión del folleto generado por LLM.
• La revisión clínica del contenido generado por LLM es imperativa antes de la aplicación clínica.