Aprendizaje federado personalizado basado en la destilación de conocimientos con restricciones de distribución

Área de la Ciencia:

• Aprendizaje automático
• Inteligencia artificial
• Ciencia de los datos

Sus antecedentes:

• El aprendizaje federado personalizado (PFL) tiene como objetivo crear modelos adaptados a las distribuciones individuales de datos del cliente.
• Los métodos PFL existentes a menudo aprovechan las correlaciones entre clientes, pero pueden pasar por alto información crucial sobre la distribución de categorías.
• La excesiva dependencia de los datos locales puede conducir a un exceso de ajuste y a una subutilización de los valiosos conocimientos mundiales.

Objetivo del estudio:

• Abordar las limitaciones de los métodos actuales de PFL mediante la incorporación de la distribución por categorías y el conocimiento global.
• Desarrollar un nuevo enfoque de PFL que genere modelos personalizados más efectivos.
• Mejorar la utilización del conocimiento global dentro de modelos personalizados.

Principales métodos:

• Las restricciones de distribución de categorías incorporadas en los cálculos de peso de agregación específicos del cliente para la personalización consciente de la distribución.
• Alinear las salidas del modelo personalizado con un modelo global (entrenado a través del promedio federado) para transferir el conocimiento compartido.
• Se evaluó el método propuesto en relación con los enfoques más avanzados en varios tipos de datos y escenarios de distribución.

Principales resultados:

• El método propuesto superaba constantemente a los enfoques de última generación existentes.
• Efectividad demostrada en diversos tipos de datos y escenarios de distribución.
• Modelos personalizados generados enriquecidos con información consciente de la distribución y transferencia de conocimiento global mejorada.

Conclusiones:

• El nuevo enfoque PFL aborda efectivamente las limitaciones relacionadas con la distribución de categorías y la utilización global del conocimiento.
• El método muestra mejoras significativas en el rendimiento del modelo personalizado.
• Este trabajo ofrece una estrategia más robusta y efectiva para el aprendizaje federado personalizado.