No Hay Almuerzo Gratis: La Generación Aumentada por Recuperación Socava la Equidad en los LLM, Incluso para Usuarios...

Área de la Ciencia:

• Inteligencia Artificial
• Procesamiento del Lenguaje Natural
• Ética del Aprendizaje Automático

Sus antecedentes:

• La Generación Aumentada por Recuperación (RAG) es una técnica popular para mejorar los Modelos de Lenguaje Grandes (LLM).
• RAG mejora la facticidad y el conocimiento específico del dominio de los LLM sin un reentrenamiento costoso.
• Persisten las preocupaciones sobre la equidad y los posibles sesgos en los resultados de los LLM.

Objetivo del estudio:

• Investigar los costos y las implicaciones de la equidad del uso de RAG.
• Analizar cómo los diferentes niveles de censura de datos en RAG afectan los resultados de equidad.
• Evaluar la vulnerabilidad de los sistemas RAG a ataques relacionados con la equidad.

Principales métodos:

• Se propuso un modelo de amenaza de tres niveles basado en la conciencia de la equidad del usuario.
• Se realizaron experimentos utilizando RAG con conjuntos de datos externos sin censura, parcialmente censurados y completamente censurados.
• Se evaluaron las implicaciones de equidad sin ajustar ni reentrenar los LLM.

Principales resultados:

• La alineación de la equidad en RAG se puede comprometer fácilmente sin modificación del modelo.
• Incluso los conjuntos de datos externos completamente censurados y supuestamente imparciales pueden generar resultados sesgados de LLM a través de RAG.
• Los sistemas RAG demuestran susceptibilidad a la socavación de la equidad.

Conclusiones:

• Los métodos actuales de alineación de LLM pueden ser insuficientes para los sistemas RAG.
• RAG introduce desafíos de equidad únicos que requieren estrategias de mitigación novedosas.
• Es crucial una mayor investigación para desarrollar salvaguardias de equidad sólidas en los LLM basados en RAG.