Comparación rápida de grandes modelos de lenguaje para el diagnóstico de pacientes con comorbilidades: estudio...

Área de la Ciencia:

• La inteligencia artificial en la medicina
• Sistemas de apoyo a la toma de decisiones clínicas
• Procesamiento del lenguaje natural para la salud

Sus antecedentes:

• Los errores de diagnóstico contribuyen a una mortalidad significativa de los pacientes, que representa la tercera causa de muerte en los Estados Unidos.
• Los grandes modelos de lenguaje (LLM) son prometedores para ayudar a los médicos con los diagnósticos, pero faltan datos comparativos de rendimiento en cohortes de pacientes del mundo real.

Objetivo del estudio:

• Comparar las capacidades de diagnóstico de 18 modelos populares de lenguaje grande (LLM) utilizando un conjunto de datos de pacientes del mundo real.
• Evaluar el impacto de las diferentes indicaciones y ajustes de temperatura en el rendimiento de diagnóstico de LLM.
• Evaluar la efectividad de la generación aumentada de recuperación (RAG) para mejorar la precisión del diagnóstico de LLM.

Principales métodos:

• Se evaluaron 21 LLM en 1000 pacientes hospitalizados seleccionados al azar en el Centro de Información Médica para Cuidados Intensivos-IV (MIMIC-IV).
• Empleó un enfoque de LLM como juez para la evaluación automatizada, comparando los diagnósticos generados por LLM con los códigos diagnósticos finales de los registros de pacientes.
• Se calcularon las tasas de aciertos diagnósticos y se evaluó la significación estadística utilizando pruebas z agrupadas para las proporciones.

Principales resultados:

• Gemini 2.5 logró la tasa de acierto de diagnóstico más alta (97,4%) cuando se evaluó con GPT-4.1, superando a otros modelos líderes como GPT-4.1 y Claude-4 Opus.
• GPT-4.1 mostró el mayor rendimiento en evaluaciones separadas por GPT-4 Turbo, lo que indica variabilidad en la evaluación dependiendo del juez LLM.
• La generación aumentada de recuperación (RAG) mejoró significativamente la tasa de éxito de GPT-4o 05-13 en un 0,8% (P < 0,006), y el rendimiento varió según las diferentes indicaciones.

Conclusiones:

• Los LLM demuestran un potencial significativo para mejorar la precisión del diagnóstico en entornos clínicos.
• La investigación adicional con diversos conjuntos de datos y la validación clínica es esencial para comprender e implementar completamente las herramientas de diagnóstico de LLM.
• La estrecha colaboración entre los desarrolladores de IA y los médicos es crucial para la integración responsable de los LLM en la atención médica.