Interpretación del rendimiento de redes neuronales profundas con descomposición parcial de información

Área de la Ciencia:

• Inteligencia Artificial
• Aprendizaje Automático
• Teoría de la Información

Sus antecedentes:

• Las redes neuronales profundas (DNN) demuestran limitaciones en la robustez cuando se enfrentan a cambios en la distribución, lo que dificulta su implementación en el mundo real.
• La comprensión actual de cómo las representaciones de información internas dentro de las DNN se correlacionan con la robustez es limitada.

Objetivo del estudio:

• Desarrollar un marco interpretable para evaluar la robustez de las DNN utilizando la descomposición parcial de información (PID).
• Cuantificar los roles de la redundancia, la singularidad y la sinergia en la codificación de información neuronal en relación con la robustez del modelo.

Principales métodos:

• Se propuso un marco interpretable basado en la descomposición parcial de información (PID).
• Se analizaron las medidas de PID (redundancia, información única, sinergia) a partir de entradas limpias para evaluar la codificación de información por parte de las neuronas.
• Se correlacionaron las medidas de PID con el rendimiento del modelo bajo corrupciones naturales.

Principales resultados:

• Los modelos con tasas de redundancia más altas y tasas de sinergia más bajas exhibieron un rendimiento más estable bajo diversas corrupciones naturales.
• Una tasa más alta de información única se asoció positivamente con una mejora en la precisión de la clasificación con datos limpios.
• Se demostró la viabilidad de la evaluación de robustez ligera utilizando el análisis de información interna.

Conclusiones:

• La descomposición parcial de información ofrece nuevas perspectivas para comprender y comparar el comportamiento de las DNN.
• El análisis informacional de las representaciones internas puede predecir y potencialmente mejorar la robustez del modelo sin datos corruptos extensos.