Evaluación del rendimiento de 9 modelos de lenguaje grandes en la toma de decisiones de anticoagulación para la...

Área de la Ciencia:

• Inteligencia Artificial en Medicina
• Sistemas de Soporte a la Decisión Clínica
• Informática Médica

Sus antecedentes:

• La fiabilidad de los modelos de lenguaje grandes (LLM) para el manejo de la anticoagulación en la fibrilación auricular no valvular (FANV) no está bien establecida.
• Los LLM se utilizan cada vez más en el soporte de decisiones clínicas, lo que requiere una evaluación de su rendimiento en áreas terapéuticas complejas.
• La terapia de anticoagulación para la FANV requiere una evaluación y manejo precisos del riesgo, áreas en las que se están explorando herramientas de IA.

Objetivo del estudio:

• Evaluar sistemáticamente el rendimiento de nueve LLM prominentes en la guía de decisiones de anticoagulación para pacientes con FANV.
• Comparar la precisión de diferentes LLM en diversas tareas clínicas relacionadas con la anticoagulación de la FANV.
• Investigar el impacto de la optimización de las indicaciones en el rendimiento de los LLM en este dominio clínico.

Principales métodos:

• Desarrollo de 100 casos de pacientes virtuales con FANV por un equipo multidisciplinario.
• Indicación a nueve LLM (incluyendo ChatGPT-4o, Gemini 2.5, Claude Sonnet 4) para generar puntuaciones CHA2DS2-VASc y HAS-BLED, identificar contraindicaciones y recomendar estrategias de anticoagulación.
• Evaluación independiente de los resultados de los LLM frente al consenso de expertos utilizando tasas de precisión y escalas Likert.

Principales resultados:

• El rendimiento varió significativamente entre los LLM y en las tareas clínicas.
• ChatGPT-4o Deep Research lideró en la puntuación CHA2DS2-VASc (100% de precisión) y en el monitoreo de medicamentos.
• La optimización de las indicaciones mejoró sustancialmente la precisión de la puntuación HAS-BLED para algunos modelos, alcanzando hasta el 95%.

Conclusiones:

• Existe una variabilidad significativa en el rendimiento de los LLM para el soporte de decisiones de anticoagulación de la FANV.
• La ingeniería de indicaciones es un factor crítico para mejorar la precisión de los LLM en este contexto.
• Los LLM actuales pueden servir como complementos, pero no son adecuados como tomadores de decisiones independientes para la anticoagulación de la FANV.