Alinear logits generativamente para la destilación de conocimiento de caja negra en la naturaleza

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Visión por computadora

Sus antecedentes:

• La destilación de conocimiento de caja negra (B2KD) es crucial para la compresión de modelos de nube a borde, protegiendo la privacidad de los datos y los derechos de autor de los modelos.
• B2KD utiliza solo los resultados de la consulta de la API del modelo de maestro para destilar modelos de estudiantes ligeros para dispositivos de borde.
• Los desafíos incluyen el intercambio limitado de Internet y las disparidades en la distribución de datos en la nube de borde.

Objetivo del estudio:

• Abordar los desafíos de B2KD proponiendo una nueva dirección de optimización desde logits hasta el límite de la célula.
• Introducir el Mapping-Emulation KD (MEKD) para la predicción robusta de modelos de borde y las capacidades anti-interferencia.
• Mejorar el rendimiento del modelo del estudiante en dispositivos de borde a través de diversas distribuciones de datos desconocidas.

Principales métodos:

• Un flujo de trabajo de tres etapas: deprivatización (emulando el mapeo inverso del maestro), destilación (alineando logitos de baja dimensión a través de distancias de puntos de imagen de alta dimensión) y adaptación (adaptación de tiempo de prueba basada en propagación de gráficos).
• MEKD emula la función inversa del maestro utilizando un generador para la privatización.
• La alineación de logit de baja dimensión se logra minimizando las distancias entre las representaciones de imagen de alta dimensión.

Principales resultados:

• MEKD demuestra un fuerte rendimiento en la destilación y adaptación del modelo de borde a través de varias arquitecturas maestro-alumno.
• Se obtuvieron resultados de vanguardia en múltiples puntos de referencia de reconocimiento de imágenes utilizando diversos modelos de redes neuronales profundas.
• El método muestra valor práctico, particularmente en aplicaciones de reconocimiento de imágenes de teledetección.

Conclusiones:

• MEKD mejora efectivamente la robustez y las capacidades anti-interferencia de los modelos estudiantiles para el despliegue en el borde.
• El enfoque propuesto supera las limitaciones de la alineación de logit directo en B2KD.
• MEKD ofrece una solución práctica y efectiva para la compresión de modelos que preservan la privacidad en escenarios de IA de vanguardia del mundo real.