Descomposición de anillo tensorial directo de almacenamiento reducido para la compresión de redes neuronales...

Área de la Ciencia:

• Visión por computadora
• Aprendizaje automático
• Optimización del aprendizaje profundo

Sus antecedentes:

• Las redes neuronales convolucionales (CNN) son esenciales para tareas de visión por computadora como la clasificación de imágenes.
• La compresión del modelo es crucial para mejorar la eficiencia de la CNN en términos de almacenamiento y computación.
• Los métodos de aproximación de bajo rango ofrecen una vía prometedora para la compresión de CNN mediante la descomposición de núcleos grandes.

Objetivo del estudio:

• Proponer un nuevo método de bajo rango para la compresión de la CNN.
• Aprovechar la descomposición de anillo tensorial directo de almacenamiento reducido (RSDTR) para una aproximación eficiente del núcleo.
• Evaluar la eficacia de RSDTR en el logro de altas tasas de compresión y la preservación de la precisión.

Principales métodos:

• Desarrolló una nueva técnica de compresión de CNN de bajo rango basada en RSDTR.
• Implementado RSDTR para aproximar núcleos convolucionales, reduciendo el parámetro y la complejidad de FLOPS.
• Realizó experimentos con conjuntos de datos CIFAR-10 e ImageNet para evaluar el rendimiento.

Principales resultados:

• El método RSDTR propuesto logró parámetros significativos y tasas de compresión FLOPS.
• RSDTR demostró una mayor flexibilidad de permutación en modo circular en comparación con los métodos existentes.
• Las redes comprimidas que utilizan RSDTR mantienen una precisión de clasificación competitiva.

Conclusiones:

• RSDTR es un método eficaz para comprimir las CNN.
• El enfoque ofrece una compensación favorable entre la eficiencia de compresión y el rendimiento de clasificación.
• RSDTR supera a otras técnicas de compresión CNN de última generación.