Métricas informadas por calibración para la fiabilidad predictiva a nivel de instancia en IA médica

Área de la Ciencia:

• Inteligencia artificial en medicina
• Sistemas de apoyo a la decisión clínica
• Fiabilidad de la IA médica

Sus antecedentes:

• Las métricas de rendimiento tradicionales (p. ej., precisión, sensibilidad) en los sistemas de apoyo a la decisión clínica (CDSS) no transmiten adecuadamente la fiabilidad de las predicciones individuales.
• Los médicos requieren predicciones individuales confiables, especialmente en entornos médicos de alto riesgo.

Objetivo del estudio:

• Introducir un marco novedoso informado por calibración con dos nuevas métricas: Valor Predictivo Local (LPV) y Valor Predictivo Creíble (CPV).
• Proporcionar estimaciones de fiabilidad interpretables y confiables para predicciones individuales de IA en aplicaciones médicas.

Principales métodos:

• El LPV estima la fiabilidad de la predicción analizando la frecuencia de corrección dentro de los vecindarios de puntuación de confianza.
• El CPV refina el LPV utilizando un enfoque bayesiano, incorporando valores predictivos globales como priors para una distribución de probabilidad de corrección posterior.
• El marco se aplicó a conjuntos de datos de imágenes médicas de referencia.

Principales resultados:

• El LPV y el CPV generaron estimaciones de fiabilidad adaptativas localmente e interpretables para las predicciones de IA.
• Las métricas identificaron con éxito instancias donde la evidencia local era insuficiente o engañosa.
• El suavizado bayesiano en CPV demostró una estabilidad mejorada contra datos locales escasos o engañosos.

Conclusiones:

• El marco LPV y CPV mejora la interpretabilidad y la confiabilidad de los sistemas de IA médica a nivel de caso individual.
• La combinación de la calibración local con la inferencia bayesiana ofrece un enfoque robusto para evaluar la fiabilidad de las predicciones de IA.
• Estas métricas son cruciales para avanzar en el desarrollo de IA confiable en la atención médica.