Aprendizaje de representación justa para el ajuste fino de modelos de lenguaje preentrenados

Área de la Ciencia:

• Inteligencia Artificial
• Procesamiento del Lenguaje Natural
• Aprendizaje Automático

Sus antecedentes:

• Los modelos de lenguaje preentrenados (PLM) se destacan en diversas tareas de PNL, pero heredan sesgos humanos.
• Estos sesgos, incluidos los estereotipos sociales, limitan la aplicación segura y ética de los PLM.
• Los métodos de eliminación de sesgos existentes a menudo no logran abordar eficazmente las causas raíz del sesgo.

Objetivo del estudio:

• Proponer un marco novedoso de eliminación de sesgos, CFPLM, para modelos de lenguaje preentrenados.
• Aprovechar la inferencia causal para identificar e intervenir en los factores que inducen sesgos dentro de los PLM.
• Mejorar la equidad de los PLM manteniendo sus capacidades de comprensión del lenguaje.

Principales métodos:

• Desarrolló el marco de eliminación de sesgos CFPLM (Causal Framework for Pre-trained Language Models).
• Incorporó una función de pérdida compuesta con un término de penalización de equidad.
• Integró la pérdida adversarial y la regularización de entropía para la optimización del rendimiento.

Principales resultados:

• CFPLM redujo significativamente el sesgo en PLM populares como BERT, RoBERTa y ALBERT.
• Las evaluaciones en conjuntos de datos y métricas estándar confirmaron la efectividad del enfoque de eliminación de sesgos.
• El rendimiento en el punto de referencia GLUE no mostró compromiso en las habilidades de comprensión del lenguaje.

Conclusiones:

• El marco CFPLM propuesto mitiga eficazmente el sesgo en los PLM utilizando la inferencia causal.
• La mejora de la equidad a través de CFPLM no afecta negativamente las capacidades centrales de comprensión del lenguaje de los modelos.
• CFPLM ofrece una dirección prometedora para el desarrollo de tecnologías de lenguaje de IA más éticas y confiables.