Un marco transformador federado personalizado y que preserva la privacidad para el análisis del sentimiento...

Área de la Ciencia:

• Procesamiento del lenguaje natural.
• Aprendizaje automático Aprendizaje automático.
• La inteligencia artificial es inteligencia artificial.

Sus antecedentes:

• El análisis de sentimiento multilingüe se enfrenta a desafíos con diversos idiomas y privacidad de datos.
• El aprendizaje federado (FL) ofrece un enfoque de preservación de la privacidad, pero tiene problemas con la personalización y los datos no IID.

Objetivo del estudio:

• Introducir FedPerX, un nuevo marco transformador federado para el análisis de sentimiento multilingüe personalizado y que preserva la privacidad.
• Para abordar la heterogeneidad lingüística, los datos no IID y los estrictos requisitos de privacidad en los entornos de FL.

Principales métodos:

• FedPerX utiliza una columna vertebral multilingüe congelada (XLM-R) con adaptadores ligeros y específicos para el cliente para la personalización.
• La privacidad diferencial multi-granular adaptativa se implementa a través de la inyección dinámica de ruido a nivel de características y adaptadores.
• El marco se evalúa en puntos de referencia multilingües de MARC y TSMD en varios idiomas y tipos de datos.

Principales resultados:

• FedPerX logró mejoras consistentes con respecto a las líneas de base de última generación, con ganancias de hasta +4.3% en el macro-F1.
• Demostró una reducción del 70% en los gastos generales de comunicación y una variación mínima en el rendimiento del cliente.
• Los análisis confirmaron la robustez, la adaptabilidad, la equidad y una compensación efectiva entre la privacidad y la utilidad.

Conclusiones:

• FedPerX ofrece una solución escalable, personalizada y que preserva la privacidad para el análisis de sentimientos multilingüe federado.
• El marco equilibra efectivamente el rendimiento del modelo, la eficiencia de la comunicación y la privacidad del usuario.