Evaluación de la Explicabilidad: Un Marco para la Evaluación Sistemática de Características de IA Explicable en...

Área de la Ciencia:

• Imágenes Médicas
• Inteligencia Artificial
• IA Explicable

Sus antecedentes:

• Las características de explicabilidad en los dispositivos de IA ofrecen información sobre los mecanismos internos.
• Las técnicas actuales de evaluación de las explicaciones de la IA carecen de ellas, especialmente en imágenes médicas.
• Existe la necesidad de métodos sólidos para evaluar la calidad de las explicaciones generadas por la IA en la atención médica.

Objetivo del estudio:

• Proponer un marco integral para evaluar y reportar características de IA explicable (XAI) en imágenes médicas.
• Establecer criterios cuantificables para evaluar la calidad de las explicaciones proporcionadas por la IA en dispositivos médicos.
• Desarrollar un sistema de puntuación para métodos XAI en imágenes médicas que acompañe a los dispositivos de IA.

Principales métodos:

• Se desarrolló un marco de evaluación basado en cuatro criterios: consistencia, plausibilidad, fidelidad y utilidad.
• Se definió la consistencia como la variabilidad de las explicaciones para entradas similares.
• Se definió la plausibilidad como la cercanía de la explicación a la verdad fundamental, la fidelidad como la alineación con los mecanismos del modelo y la utilidad como el impacto en el rendimiento de la tarea.

Principales resultados:

• El marco proporciona un método cuantitativo para evaluar la calidad de la explicación de la IA en imágenes médicas.
• Se desarrolló un sistema de puntuación para una descripción y evaluación completas de los métodos XAI.
• El estudio de caso utilizando Ablation CAM y Eigen CAM ilustró la evaluación de mapas de calor para la detección de lesiones mamarias.

Conclusiones:

• El marco propuesto establece criterios para cuantificar la calidad de las explicaciones de los dispositivos de IA médicos.
• Este trabajo aborda la falta de técnicas de evaluación para XAI en imágenes médicas.
• El sistema de puntuación y los criterios desarrollados facilitan una evaluación exhaustiva de la explicabilidad de la IA en aplicaciones clínicas.