Eficiencia en el uso de recursos y conocimiento de la interdependencia de capas CNN poda aprovechando el reemplazo de...

Área de la Ciencia:

• Ciencias de la computación Ciencias de la computación
• La inteligencia artificial es inteligencia artificial.
• Aprendizaje automático Aprendizaje automático.

Sus antecedentes:

• Los métodos tradicionales de poda de redes neuronales convolucionales (CNN) a menudo usan criterios heurísticos, lo que lleva a un rendimiento inconsistente y una generalización limitada.
• Las técnicas de poda existentes pueden carecer de eficiencia y adaptabilidad para los modelos modernos de aprendizaje profundo.

Objetivo del estudio:

• Introducir un nuevo marco de reemplazo de filtros (FR) para la poda de CNN, tratando la poda como el reemplazo de filtros con filtros cero.
• Desarrollar un algoritmo de poda eficiente, libre de datos y de baja complejidad derivando un límite de error y definiendo una función de importancia submodular.
• Ampliar el marco de FR con reemplazos óptimos de filtros distintos de cero e introducir una métrica de eficiencia de recursos (ER).

Principales métodos:

• Propuso un marco de reemplazo de filtros (FR) para la poda de CNN.
• Derivado un límite superior en el error absoluto para definir una eficiente, $\gamma $- débilmente submodular función de importancia.
• Desarrolló un algoritmo oblivious libre de datos para la selección de filtros y amplió el FR con técnicas de mejor aproximación para el reemplazo de filtros.
• Se introdujo una métrica de eficiencia de recursos (ER) para evaluar los métodos de poda.

Principales resultados:

• Logró resultados de vanguardia en redes de referencia y conjuntos de datos.
• Demostró una reducción del 25,5% en los parámetros de red para ResNet-50 en ImageNet, mejorando la precisión del 75,15% al 76,52%.
• El método de poda consciente de la interdependencia de capas (LIAP, por sus siglas en inglés) mostró una eficiencia hasta 1011 veces mayor en comparación con las técnicas existentes.

Conclusiones:

• El marco propuesto de reemplazo de filtros (FR) ofrece un enfoque efectivo y eficiente para la poda de CNN.
• El algoritmo libre de datos y de baja complejidad y los reemplazos optimizados de filtros logran un rendimiento superior y una eficiencia de recursos superior.
• Este trabajo establece un nuevo estándar para la poda de CNN consciente de los recursos, equilibrando la precisión y la compresión del modelo.