Aprendizaje federado semisupervisado con muestreo aleatorio uniforme y basado en redes de clientes

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Sistemas distribuidos

Sus antecedentes:

• El aprendizaje semi-supervisado federado (Fed-SSL) utiliza datos distribuidos etiquetados y sin etiqueta.
• La participación parcial del cliente es común en Fed-SSL para reducir los gastos generales de comunicación.
• No identificado Las distribuciones de datos plantean desafíos para las estrategias de muestreo de clientes en Fed-SSL.

Objetivo del estudio:

• Proponer un nuevo algoritmo de aprendizaje semisupervisado de promedio federado, FedAvg-SSL.
• Investigar el impacto de las diferentes estrategias de muestreo de clientes en el rendimiento de Fed-SSL.
• Analizar las propiedades de convergencia del algoritmo propuesto.

Principales métodos:

• Se introdujo FedAvg-SSL, que incorpora el muestreo aleatorio uniforme (Monte Carlo) y el muestreo basado en celosía (quasi-Monte Carlo).
• Los clientes alternan entre la actualización del modelo global y el refinamiento de un modelo de pseudoetiqueta utilizando datos locales.
• Proporcionó análisis teóricos de convergencia y realizó extensos experimentos.

Principales resultados:

• FedAvg-SSL logra una tasa de convergencia sublineal con aceleración lineal.
• El muestreo basado en la red demuestra ventajas sobre el muestreo aleatorio uniforme en el aprendizaje federado.
• Los resultados experimentales validan los hallazgos teóricos y resaltan el impacto de las estrategias de muestreo.

Conclusiones:

• FedAvg-SSL ofrece un enfoque eficaz para el aprendizaje federado semisupervisado.
• El muestreo basado en enrejado mejora la estabilidad del entrenamiento y el rendimiento del modelo, especialmente bajo no-i.i.d. las condiciones.
• El estudio proporciona información sobre la optimización de la participación y el muestreo de clientes para Fed-SSL.