Métrica adaptativa para la destilación del conocimiento por divergencia profunda de Bregman

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Visión por computadora

Sus antecedentes:

• La destilación del conocimiento (KD) permite desplegar modelos precisos y grandes en dispositivos con recursos limitados mediante el entrenamiento de modelos más pequeños y ligeros.
• Los métodos de KD existentes a menudo tienen dificultades para transferir efectivamente el conocimiento de las redes de maestros a los estudiantes, especialmente en lo que respecta a las representaciones de la capa intermedia debido a las variaciones estructurales y distributivas.
• Las métricas tradicionales para comparar representaciones de características carecen de adaptabilidad a las características heterogéneas de las redes neuronales profundas.

Objetivo del estudio:

• Desarrollar un método de destilación del conocimiento más eficaz y sólido, abordando las limitaciones de las métricas tradicionales de comparación de características.
• Proponer una métrica parametrizada y adaptativa para la transferencia de conocimiento que tenga en cuenta las variaciones en las distribuciones de características.
• Mejorar las técnicas de destilación de conocimientos existentes, especialmente las centradas en salidas de probabilidad.

Principales métodos:

• Introducción de una métrica parametrizada y adaptativa basada en la divergencia profunda de Bregman para la destilación del conocimiento.
• La función de divergencia propuesta se aprende de los datos, lo que le permite adaptarse a las distribuciones de características subyacentes en diferentes capas y modelos.
• El método está diseñado para complementar las técnicas KD existentes, funcionando como una mejora (x + Bregman) para la destilación de salida de probabilidad.

Principales resultados:

• Los experimentos extensos demuestran que el método de divergencia profunda de Bregman propuesto supera significativamente los enfoques de destilación de conocimiento existentes.
• El enfoque logra un rendimiento superior en diversos conjuntos de datos y diversas arquitecturas de red, validando su eficacia y robustez.
• La métrica adaptativa captura con éxito las variaciones espaciales, semánticas y estadísticas entre las características de la red de maestros y estudiantes.

Conclusiones:

• La métrica de divergencia profunda de Bregman propuesta ofrece una solución más eficaz y robusta para la destilación del conocimiento en comparación con los métodos tradicionales.
• Este enfoque adaptativo facilita una mejor transferencia de conocimientos, lo que conduce a un mejor rendimiento en modelos ligeros.
• La compatibilidad del método con otras técnicas de KD destaca su versatilidad y potencial para una amplia aplicación en la compresión de modelos.