Una técnica de muestreo robusta para la simulación de distribución realista en el aprendizaje federado

Área de la Ciencia:

• Aprendizaje automático
• Inteligencia artificial
• La informática médica

Sus antecedentes:

• El aprendizaje federado (FL) permite entrenar modelos de aprendizaje profundo en datos descentralizados, cruciales para entornos clínicos sensibles a la privacidad.
• Los datos no independientes y distribuidos de manera idéntica (no IID), que surgen de las variaciones demográficas entre los clientes, pueden degradar significativamente el rendimiento del modelo FL.
• La evaluación del impacto de las distribuciones de datos no IDI es vital antes de implementar FL a gran escala en el cuidado de la salud.

Objetivo del estudio:

• Desarrollar y evaluar un nuevo algoritmo de muestreo para crear distribuciones de etiquetas realistas y orientadas al cliente.
• Investigar la degradación del rendimiento de los modelos FL en escenarios simulados de datos no IID.
• Proporcionar un método eficiente para analizar los efectos de la heterogeneidad de los datos en FL.

Principales métodos:

• Se desarrolló un algoritmo de muestreo para generar subconjuntos de datos con medias y desviaciones estándar especificadas de una distribución global.
• Las medidas de impureza Chi-cuadrado y Gini se emplearon para la optimización numérica de las distribuciones de etiquetas en múltiples grupos.
• El algoritmo se aplicó a un conjunto de datos clínicos del mundo real para la estimación de peso y altura basada en cámaras 3D.

Principales resultados:

• El entrenamiento Federated Averaging (FedAvg) con datos no IDI muestreados dio lugar a una caída en el rendimiento.
• En el modelo global se observó un deterioro realista del 25,3% para las estimaciones de peso y del 28,7% para las estimaciones de altura.
• La técnica de muestreo propuesta demostró un impacto negativo significativo en comparación con una línea de base dividida de datos concretos.

Conclusiones:

• Las distribuciones de etiquetas sesgadas por el cliente en los entornos de FL pueden perjudicar sustancialmente el entrenamiento y el rendimiento del modelo.
• El algoritmo de muestreo desarrollado ofrece un enfoque eficiente para el análisis previo al despliegue de los efectos de los datos no IDI.
• Esta técnica es versátil, aplicable a varias arquitecturas de red, escenarios clínicos y subpoblaciones no IDI.