Modelos de lenguaje grande impulsados por la IA en consultas de salud para pacientes con VIH

Área de la Ciencia:

• Inteligencia artificial en el cuidado de la salud
• La informática médica
• Medicina para el VIH

Sus antecedentes:

• Los modelos de lenguaje grande (LLM) se exploran cada vez más para aplicaciones de atención médica.
• La evaluación del desempeño de LLM en consultas médicas especializadas, como para pacientes con VIH, es crucial para el despliegue clínico seguro.
• Las capacidades actuales de LLM para proporcionar información integral, precisa y empática sobre la salud requieren una evaluación rigurosa.

Objetivo del estudio:

• Evaluar exhaustivamente el rendimiento de los LLM avanzados en las consultas de salud para las personas que viven con el VIH.
• Evaluar la aplicabilidad de LLM en múltiples dimensiones, incluida la precisión médica, la exhaustividad, la comprensibilidad, la confiabilidad y la atención humanística.
• Proporcionar conocimientos basados en la evidencia para el despliegue clínico de LLM en el manejo del VIH.

Principales métodos:

• Se desarrolló un banco de preguntas específico del VIH de 23 preguntas que cubre los conocimientos fundamentales, el diagnóstico, el tratamiento, el pronóstico y el análisis de casos.
• Cuatro LLM avanzados (ChatGPT-4o, Copilot, Gemini, Claude) fueron evaluados utilizando un sistema multidimensional.
• Puntuación por expertos en una escala Likert de cinco puntos, seguida de análisis estadístico, comprobaciones de coherencia y pruebas post-hoc.

Principales resultados:

• Claude demostró un rendimiento superior en la exhaustividad (4.333), la comprensibilidad (3.797) y el cuidado humanístico (2.855).
• Copiloto sobresalió en las preguntas de diagnóstico (3.880), mientras que Gemini mostró un rendimiento excepcional en el análisis de casos (4.111).
• Claude superó a otros modelos en minuciosidad y cuidado humanístico (P < 0,05); Gemini superó significativamente a ChatGPT en el análisis de casos (P < 0,001). El cuidado humanista fue una debilidad constante en todos los modelos.

Conclusiones:

• Diversos LLM exhiben fortalezas específicas de la tarea, lo que indica un potencial significativo para el manejo de pacientes con VIH.
• Se necesitan mejoras en los aspectos de atención humanística de los LLM para mejorar su eficacia en las consultas con los pacientes.
• Los LLM pueden apoyar la atención del VIH, pero sus limitaciones en la comunicación empática requieren un mayor desarrollo antes de su adopción clínica generalizada.