Destilación de conjuntos de interpretación múltiple para redes neuronales de gráficos

Área de la Ciencia:

• La inteligencia artificial es inteligencia artificial.
• Aprendizaje automático Aprendizaje automático.
• Redes Neurales de Gráfico Las Redes Neurales de Gráfico.

Sus antecedentes:

• Los métodos de destilación de conocimiento de gráficos existentes luchan con la absorción limitada de "conocimiento oscuro" debido a la simple alineación de logit, lo que lleva a un exceso de ajuste e incompleta captura de patrones.
• Una única perspectiva de estudiante restringe la efectividad del aprendizaje y la capacidad de generalización en tareas basadas en gráficos.

Objetivo del estudio:

• Introducir un nuevo método de destilación conjunta de interpretación múltiple (MIED) para mejorar la destilación del conocimiento de gráficos.
• Abordar las limitaciones de los métodos existentes permitiendo una interpretación diversificada del conocimiento y mejorando la robustez y generalización del modelo estudiantil.

Principales métodos:

• Desarrolló el componente de interpretación estudiantil (SI), un intérprete múltiple que utiliza múltiples MLPs de una sola capa, para interpretar el conocimiento de salidas diversificadas de los estudiantes, mitigando el sesgo de representación.
• Se introdujo el muestreo híbrido con diferentes estrategias para los resultados del componente docente (porcentaje aleatorio) y del componente estudiante / SI (positivo-negativo) para coordinar la selección de muestras.
• Actualización Jerárquica implementada para mejorar la robustez y la generalización mediante el uso de promedio móvil exponencial para los parámetros de la última capa del estudiante basado en la fusión de componentes SI.

Principales resultados:

• MIED supera significativamente a los métodos existentes en las tareas de clasificación de nodos en siete conjuntos de datos del mundo real, mostrando mejoras promedio del 5,56% sobre las Redes Convolucionales de Gráficos (GCN) y del 27,43% sobre los Perceptrones Multicapa (MLP).
• En comparación con el uso de múltiples estudiantes individuales, MIED logra una precisión comparable o mejor con mejoras significativas en la eficiencia (6.00% más rápido, 50.00% menos espacio).

Conclusiones:

• MIED ofrece una solución escalable, generalizable y robusta para la destilación de conocimiento de gráficos, particularmente efectiva en muestras complejas.
• El método propuesto mejora con éxito la absorción del "conocimiento oscuro" del maestro y mejora el rendimiento del modelo estudiantil más allá de los enfoques tradicionales.