Más allá de las métricas globales: un análisis de equidad para sistemas interpretables de detección de trastornos de...

Área de la Ciencia:

• Ingeniería Biomédica
• Ciencia del Habla
• Inteligencia Artificial en la Atención Sanitaria

Sus antecedentes:

• Los sistemas automáticos de detección de trastornos de la voz (AVDD) son cruciales para diagnosticar impedimentos del habla.
• Los sistemas AVDD existentes a menudo exhiben disparidades de rendimiento entre diferentes grupos demográficos.
• Las métricas de rendimiento globales pueden ocultar sesgos subyacentes en la precisión del sistema AVDD.

Objetivo del estudio:

• Investigar y cuantificar los sesgos dependientes de la demografía en los sistemas AVDD.
• Evaluar la eficacia de las estrategias de calibración específicas de grupo para mejorar la fiabilidad de AVDD.
• Identificar los factores que contribuyen a las diferencias de rendimiento entre cohortes de edad y género.

Principales métodos:

• Análisis de un sistema AVDD utilizando conjuntos de datos de trastornos de la voz con metadatos demográficos.
• Evaluación del rendimiento del sistema en cohortes basadas en género y edad utilizando costos normalizados y entropía cruzada.
• Aplicación de técnicas de calibración específicas de grupo para mitigar la descalibración.

Principales resultados:

• Se observaron disparidades significativas de rendimiento entre los grupos demográficos, a pesar de métricas generales sólidas.
• El sistema AVDD exhibió sesgos, clasificando erróneamente a hablantes mayores sanos y a hablantes jóvenes con trastornos.
• La calibración específica de grupo mejoró la estimación de la probabilidad posterior y redujo la excesiva confianza.

Conclusiones:

• Las métricas de rendimiento globales son insuficientes para una evaluación justa de los sistemas AVDD.
• El análisis y la calibración específicos de la demografía son esenciales para la detección fiable de trastornos de la voz.
• Los hallazgos proporcionan un marco para mejorar la mitigación de sesgos en tareas de clasificación biomédica.