Aprendizaje federado de alta eficiencia consciente de la heterogeneidad con estrategia de división híbrida...

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Sistemas distribuidos

Sus antecedentes:

• El aprendizaje federado (FL) permite la capacitación de modelos colaborativos mientras se preserva la privacidad de los datos.
• La heterogeneidad del sistema en FL conduce al "problema del rezagado", retrasando la agregación debido a los dispositivos con recursos limitados.
• Las soluciones actuales a menudo descuidan las restricciones de borde, arriesgando el sesgo del modelo y la omisión de datos.

Objetivo del estudio:

• Introducir HA-HEFL, un marco de aprendizaje federado de alta eficiencia consciente de la heterogeneidad.
• Abordar las compensaciones entre la eficiencia de la formación, la precisión del modelo y el consumo de recursos en FL.
• Para mitigar los impactos negativos de la heterogeneidad del sistema en el rendimiento de FL.

Principales métodos:

• Personalización del modelo adaptativo consciente de los recursos utilizando perfiles a nivel de neuronas y selección basada en prioridades.
• Formación híbrida sincrónica-asincrónica dividida con destilación de conocimientos para la extracción de características y actualizaciones del clasificador.
• Agregación ponderada con prioridad de referencia para garantizar una actualización equilibrada del modelo global.

Principales resultados:

• HA-HEFL mejora significativamente la velocidad de convergencia en comparación con los métodos existentes.
• El marco mejora la precisión general del modelo.
• HA-HEFL demuestra una reducción notable en el tráfico de la red.

Conclusiones:

• HA-HEFL equilibra efectivamente la eficiencia de la formación, la precisión del modelo y el consumo de recursos en entornos de FL heterogéneos.
• La propuesta de personalización del modelo adaptativo y la estrategia de formación híbrida superan los problemas de retraso.
• HA-HEFL ofrece un enfoque superior para el despliegue práctico de FL con diversos dispositivos de borde.