La inteligencia artificial se encuentra con la educación sobre el VIH: Comparando tres grandes modelos de lenguaje en...

Área de la Ciencia:

• Inteligencia artificial en el cuidado de la salud
• La informática médica
• Comunicación sobre salud pública

Sus antecedentes:

• Creciente preocupación por la precisión y fiabilidad de los grandes modelos lingüísticos (LLM) para la educación del paciente.
• La necesidad crítica de fuentes de información confiables en la atención de pacientes con el virus de la inmunodeficiencia humana (VIH).
• Evaluación de la idoneidad de los LLM actuales para la difusión de conocimientos precisos relacionados con el VIH.

Objetivo del estudio:

• Comparar el rendimiento de tres LLM líderes en la respuesta a preguntas comunes relacionadas con el VIH.
• Evaluar la precisión, legibilidad y confiabilidad de LLM para la educación de pacientes con VIH.
• Orientar la selección de las LLM adecuadas para la difusión de la información sanitaria.

Principales métodos:

• Tres LLM (Claude 3.7 Sonnet, ChatGPT-4o, Gemini Advanced 2.0 Flash) respondieron a 63 preguntas sobre el VIH.
• La precisión se evaluó utilizando una escala de Likert de 5 puntos.
• La legibilidad evaluada con los índices de Flesch-Kincaid, Gunning Fog y Coleman-Liau.
• Confiabilidad medida por los criterios DISCERN y EQIP.

Principales resultados:

• Claude 3.7 Sonnet demostró una precisión superior (p < .001) y fiabilidad (EQIP: p = .049) en comparación con otros modelos.
• ChatGPT-4o proporcionó el contenido más accesible basado en los índices Flesch-Kincaid y Coleman-Liau.
• Gemini Advanced 2.0 Flash generaba texto más complejo y tenía puntuaciones de confiabilidad más bajas.

Conclusiones:

• Claude 3.7 Sonnet se recomienda por su precisión y fiabilidad en la información sobre el VIH.
• ChatGPT-4o es una opción viable cuando se prioriza la legibilidad.
• La evaluación continua del rendimiento del LLM, la calidad del contenido y la sensibilidad cultural son esenciales para una educación efectiva sobre el VIH.