Desempeño de ChatGPT, Gemini y DeepSeek para soporte de triaje no crítico utilizando conversaciones del mundo real en...

Área de la Ciencia:

• Inteligencia artificial en el cuidado de la salud
• Sistemas de apoyo a la toma de decisiones clínicas
• Informática de la medicina de emergencia

Sus antecedentes:

• La clasificación precisa del departamento de emergencias (ED) es crítica para la atención al paciente.
• Se están explorando grandes modelos lingüísticos (LLM) para ayudar a la toma de decisiones de triaje.
• Las evaluaciones de LLM existentes a menudo usan datos simulados, no casos clínicos del mundo real.

Objetivo del estudio:

• Evaluar el rendimiento de los LLM comerciales en el triaje de pacientes con disfunción eréctil no críticos.
• Para evaluar la precisión de LLM usando conversaciones clínicas del mundo real, no escenarios simulados.
• Para comparar múltiples LLM bajo condiciones de disparo cero y pocos disparos.

Principales métodos:

• Análisis retrospectivo de 1.057 conversaciones de triaje en el mundo real de hospitales surcoreanos.
• Evaluación de los LLM comerciales (por ejemplo, GPT-4o, Gemini 2.5 flash/pro) en la clasificación de urgencia basada en el diálogo.
• Comparación con la escala coreana de triaje y agudeza (KTAS) como el estándar de oro.

Principales resultados:

• El flash Gemini 2.5 logró la mayor precisión (73,8%) y especificidad (88,9%).
• Gemini 2.5 pro mostró la sensibilidad más alta (90,9%) y la puntuación F1 (82,4%).
• GPT-4.1 ofreció una precisión equilibrada (70.6%), sensibilidad (81.3%) y tiempos de respuesta rápidos (1.79s); el disparo de pocos disparos mejoró la mayoría de los modelos.

Conclusiones:

• Los LLM pueden clasificar con precisión la urgencia de los pacientes de emergencia a partir de conversaciones clínicas del mundo real.
• Los modelos demuestran la viabilidad de soporte de triaje no crítico, con alta sensibilidad y tiempos de respuesta aceptables.
• Se necesita más investigación para la integración con datos objetivos y flujos de trabajo en tiempo real para pacientes no críticos (KTAS 3-5).