El impacto del acceso a las directrices clínicas sobre las recomendaciones de tratamiento basadas en el LLM para la...

Área de la Ciencia:

• La informática médica
• Inteligencia artificial en el cuidado de la salud
• Apoyo a la decisión clínica

Sus antecedentes:

• Los modelos de lenguaje grande (LLM) ofrecen apoyo clínico potencial, pero son propensos a inexactitudes fácticas y alucinaciones.
• La integración de bases de datos externas con las instrucciones de LLM puede mitigar los riesgos de desinformación.
• Este estudio evalúa el rendimiento de LLM utilizando las directrices actualizadas de la Organización Mundial de la Salud (OMS) sobre hepatitis B crónica (CHB).

Objetivo del estudio:

• Comparar el impacto del aumento del contexto en la coherencia de las recomendaciones de tratamiento generadas por el LLM.
• Para evaluar la precisión de LLM con respecto a las últimas directrices de la OMS para el tratamiento de CHB.

Principales métodos:

• El GPT-4 fue impulsado con viñetas clínicas en dos entornos: con y sin acceso a las directrices actualizadas de la OMS CHB (2024).
• Las viñetas fueron diseñadas para resaltar las discrepancias entre las directrices de la OMS de 2015 y 2024.
• Siete médicos evaluaron las recomendaciones de tratamiento para la coherencia de la guía, la inclusión de información, los errores textuales, la claridad y la precisión.

Principales resultados:

• Las recomendaciones generadas por LLM se alinearon con las pautas de la OMS de 2024 en el 91% de los casos cuando se proporcionó contexto, frente al 51% sin contexto.
• El acceso contextual aumentó la precisión y la claridad en un 54%, la inclusión de información en un 24% y la corrección textual en un 12%.

Conclusiones:

• El acceso a fuentes de datos externas es crucial para que los LLM proporcionen asesoramiento médico fácticamente correcto.
• Los médicos deben asegurarse de que los LLM cuenten con información actualizada para un apoyo confiable.