Precisión de los grandes modelos de lenguaje en la detección de casos que requieren una notificación inmediata en...

Área de la Ciencia:

• La inteligencia artificial en la medicina
• Radiología pediátrica
• Análisis de imágenes médicas

Sus antecedentes:

• La detección precisa y oportuna de hallazgos críticos en radiología pediátrica es crucial para los resultados de los pacientes.
• La priorización actual de las listas de trabajo se basa en la interpretación humana, que puede consumir mucho tiempo y ser propensa a retrasos.

Objetivo del estudio:

• Evaluar la precisión del diagnóstico de los modelos multimodales de lenguaje grande (LLM) con capacidad de visión en la identificación de casos de radiología pediátrica que requieran una notificación inmediata.
• Comparar el rendimiento del LLM con los lectores humanos para priorizar la lista de trabajos.

Principales métodos:

• Setenta y una viñetas clínicas pediátricas con imágenes fueron evaluadas por siete LLM (a dos ajustes de temperatura) y cuatro lectores humanos.
• Los casos se clasificaron en función de los niveles 1-2 de la Escala de triaje y agudeza coreana (KTAS) o los criterios del informe de valor crítico (CVR).

Principales resultados:

• Los LLM lograron una precisión del 60,6% al 83,1% en la detección de casos de notificación inmediata. Gemini-Flash (t1) demostró la mayor precisión de LLM (83,1%), comparable con el mejor lector humano (84,5%).
• La sensibilidad del LLM para los informes de valor crítico fue baja (27,3% para Gemini-Flash t1).

Conclusiones:

• Los LLM multimodal muestran potencial para priorizar las listas de trabajo de radiología pediátrica con una precisión comparable o superior a los lectores humanos.
• Se necesita un mayor desarrollo para mejorar la sensibilidad del LLM a los hallazgos críticos antes de su adopción clínica generalizada.