Abandono de Neuronas en el Flujo de Atención: Explicación Visual de la Dinámica Dentro de los Modelos CNN

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• Explicar el proceso de toma de decisiones de las Redes Neuronales Convolucionales (CNN) sigue siendo un desafío importante.
• Visualizar la dinámica de atención dentro de las CNN es crucial para comprender su comportamiento de clasificación.

Objetivo del estudio:

• Introducir un método novedoso, el Flujo de Abandono de Neuronas (NAFlow), para explicar visualmente la evolución de la atención en las CNN.
• Abordar el problema no resuelto de comprender las contribuciones de las neuronas de capas intermedias a las decisiones de clasificación de las CNN.

Principales métodos:

• Desarrollado un algoritmo de retropropagación en cascada para abandonar neuronas y excluir neuronas no utilizadas en capas intermedias de CNN.
• Propuesto un módulo de retropropagación para abandonar neuronas para generar Mapas de Características de Retropropagación (BPFM) invirtiendo capas de CNN.
• Introducido un módulo de pesos de contribución de canal utilizando la Matriz Jacobiana para modelos de CNN basados en métricas de similitud.

Principales resultados:

• NAFlow visualiza eficazmente la dinámica del flujo de atención dentro de las CNN.
• El método excluye con precisión las neuronas que no contribuyen a las decisiones de clasificación.
• Eficacia demostrada en once modelos de CNN para tareas diversas, incluyendo clasificación general de imágenes, aprendizaje contrastivo, aprendizaje few-shot y recuperación de imágenes.

Conclusiones:

• NAFlow proporciona una herramienta poderosa para interpretar los mecanismos de atención de las CNN.
• El método propuesto mejora la explicabilidad de los modelos de aprendizaje profundo en visión por computadora.
• Este trabajo ofrece avances significativos en la comprensión y depuración de las CNN.