Logits-Level Balanced Machine Unlearning para el sistema de recomendación basado en LLM

Área de la Ciencia:

• La inteligencia artificial es inteligencia artificial.
• Aprendizaje automático Aprendizaje automático.
• Ciencia de datos Ciencia de datos.

Sus antecedentes:

• Los sistemas de recomendación son cruciales para las plataformas digitales, con grandes modelos de lenguaje (LLMs) que mejoran la personalización y la precisión.
• Los sistemas de recomendación basados en LLM (LLMRec) se enfrentan a desafíos de gobernanza de datos, incluidos datos de privacidad, obsoletos, envenenados y con derechos de autor, que requieren la eliminación efectiva de datos.
• Los métodos existentes luchan por eliminar con precisión los datos y su impacto de los complejos sistemas LLMRec.

Objetivo del estudio:

• Proponer y evaluar un sistema de desaprendizaje LLMRec capaz de eliminar datos con precisión y mantener el rendimiento del sistema.
• Para abordar los desafíos de la gobernanza de datos en los sistemas LLMRec a través de un nuevo mecanismo de desaprender.

Principales métodos:

• Desarrolló un sistema de modificación de logits impulsado por adaptador para el desaprendizaje LLMRec.
• Adaptadores utilizados para reducir los costos de capacitación durante el proceso de desaprendizaje.
• Modificación de logits impulsados por la destilación del conocimiento empleado (KD) para garantizar un razonamiento efectivo continuo y una calidad de recomendación posterior al desaprendizaje.
• Incorporó un módulo de retención de conocimientos generales basado en adaptadores para preservar las capacidades básicas de LLM.

Principales resultados:

• El sistema propuesto demuestra un desaprendizaje efectivo y eficiente en los sistemas LLMRec.
• El enfoque basado en el adaptador elimina con éxito los datos objetivo al tiempo que preserva la precisión de la recomendación.
• Los módulos de destilación de conocimientos y retención de conocimientos generales mantienen el razonamiento del modelo y las habilidades lingüísticas fundamentales.

Conclusiones:

• El sistema de modificación de logits impulsado por adaptador ofrece una solución precisa y efectiva para el desaprendizaje en los sistemas LLMRec.
• El método equilibra los requisitos de eliminación de datos con la necesidad de mantener el rendimiento de la recomendación y la comprensión general del lenguaje.
• Este trabajo proporciona un avance significativo para abordar los desafíos de la gobernanza de datos dentro de los marcos de recomendación basados en LLM.