Impacto de la Composición del Conjunto de Pruebas en el Rendimiento de la IA para la Detección de Fracturas del...

Área de la Ciencia:

• Imágenes Médicas; Inteligencia Artificial; Radiología Pediátrica

Sus antecedentes:

• La evaluación del rendimiento de la IA a menudo utiliza conjuntos de pruebas que no reflejan los escenarios del mundo real, lo que puede sobreestimar la precisión.
• Esto puede limitar la usabilidad clínica de las herramientas de IA para la detección de fracturas.

Objetivo del estudio:

• Evaluar cómo las diferentes composiciones de los conjuntos de pruebas afectan el rendimiento de los modelos de IA para la detección de fracturas pediátricas en radiografía.
• Investigar la influencia de la complejidad de la radiografía en las capacidades de diagnóstico de la IA.

Principales métodos:

• Análisis retrospectivo de radiografías de trauma apendicular pediátrico.
• Se crearon dos conjuntos de pruebas internos: un conjunto 'difícil' con discrepancias en la evaluación y un conjunto 'coincidente'.
• Los modelos de IA (EfficientNet, YOLOv8) fueron evaluados en estos conjuntos de pruebas por radiólogos independientes.

Principales resultados:

• El conjunto de pruebas 'difícil' mostró una disminución del 40% en las probabilidades de clasificación correcta para EfficientNet y una disminución del 80% para YOLOv8 en comparación con el conjunto 'coincidente'.
• Las radiografías en el conjunto 'difícil' fueron calificadas como más desafiantes y contenían imágenes más complejas.
• El rendimiento de la IA fue significativamente menor en los conjuntos de pruebas con radiografías más complejas (P < .001).

Conclusiones:

• El rendimiento de la IA en la detección de fracturas pediátricas es sensible a la composición del conjunto de pruebas y a la complejidad de la imagen.
• Es crucial utilizar conjuntos de pruebas que reflejen la complejidad del mundo real para una evaluación precisa del rendimiento de la IA y su adopción clínica.