Evaluación a gran escala de modelos de lenguaje grandes multimodales para la detección de neumotórax

Área de la Ciencia:

• Radiología
• Inteligencia Artificial
• Análisis de Imágenes Médicas

Sus antecedentes:

• La detección de neumotórax en radiografías de tórax (CXR) es fundamental en la atención aguda.
• Los modelos avanzados de IA ofrecen potencial para la interpretación de imágenes, pero su fiabilidad diagnóstica necesita ser evaluada.
• Este estudio evalúa los modelos multimodales de última generación para la detección de neumotórax.

Objetivo del estudio:

• Evaluar el rendimiento diagnóstico de tres sistemas líderes de IA multimodal (GPT-4o, Gemini 2 Pro, Claude 4 Sonnet) en la detección de neumotórax.
• Analizar el rendimiento en diferentes tamaños de neumotórax utilizando un conjunto de datos grande y anotado de CXR.

Principales métodos:

• Análisis de 10.675 CXR del conjunto de datos de segmentación de neumotórax SIIM-ACR.
• Evaluación de tres modelos multimodales utilizando un enfoque uniforme basado en imágenes.
• Comparación de los resultados del modelo con los resultados de referencia para precisión, sensibilidad, especificidad, precisión y puntuaciones F1, con análisis de subgrupos por tamaño de neumotórax.

Principales resultados:

• La prevalencia de neumotórax fue del 22,3%.
• Todos los modelos alcanzaron alta especificidad (>0,90) pero baja sensibilidad (0,16-0,36).
• Gemini 2 mostró la mejor precisión general (0,79) y especificidad (0,95); Claude 4 demostró mayor sensibilidad.
• El rendimiento mejoró con tamaños de neumotórax más grandes, pero las lesiones pequeñas siguieron siendo un desafío.
• Se encontraron diferencias estadísticamente significativas entre los modelos (P < 0,050).

Conclusiones:

• Los modelos actuales de lenguaje grandes multimodales (LLM) demuestran una gran fiabilidad en la identificación de CXR normales, pero tienen una capacidad limitada para detectar neumotórax pequeños o sutiles.
• La baja sensibilidad restringe su uso como herramientas independientes para excluir el neumotórax.
• Los refinamientos futuros pueden permitir que estos modelos de IA apoyen a los radiólogos mejorando la eficiencia del flujo de trabajo y la confianza diagnóstica.