PromptFix: Eliminación de puertas traseras de pocos disparos a través del ajuste rápido adversario

Área de la Ciencia:

• Inteligencia artificial
• Procesamiento del lenguaje natural
• Seguridad del aprendizaje automático

Sus antecedentes:

• Los modelos de lenguaje preentrenados (PLM) demuestran un rendimiento notable, pero son vulnerables a las puertas traseras, donde los tokens de desencadenante específicos manipulan el comportamiento del modelo.
• El ajuste fino de pocos disparos y el aviso son paradigmas populares de capacitación de PNL debido a la generalización de PLM y los altos costos de capacitación.
• Los métodos de mitigación de puertas traseras existentes a menudo requieren la inversión del gatillo y el reentrenamiento del modelo, que pueden ser ineficientes.

Objetivo del estudio:

• Introducir PromptFix, una nueva estrategia de mitigación de la puerta trasera para los modelos de PNL.
• Para abordar la vulnerabilidad de unos pocos disparos de ajuste fino y el impulso de paradigmas a los ataques de puerta trasera.
• Desarrollar un método que preserve los parámetros del modelo mientras neutraliza efectivamente los disparadores de la puerta trasera.

Principales métodos:

• PromptFix emplea ajuste de aviso adversario utilizando dos conjuntos de fichas blandas: una para aproximar el disparador y otra para contrarrestarlo.
• El método evita la inversión explícita del disparador y el ajuste fino del modelo, manteniendo intactos los parámetros originales del modelo.
• La optimización adversarial se utiliza para equilibrar de manera adaptativa la identificación de disparadores y la preservación del rendimiento.

Principales resultados:

• Los experimentos demuestran la efectividad de PromptFix contra varios ataques de puerta trasera en modelos de PNL.
• El método muestra un gran rendimiento incluso con cambio de dominio, lo que indica su aplicabilidad a modelos con datos de entrenamiento previo desconocidos.
• PromptFix neutraliza con éxito los disparadores de la puerta trasera sin comprometer el rendimiento general del modelo.

Conclusiones:

• PromptFix proporciona una solución efectiva y eficiente para los parámetros para mitigar las puertas traseras en los modelos de PNL en configuraciones de pocos disparos.
• La técnica es robusta para los cambios de dominio, lo que la hace adecuada para aplicaciones de ajuste de prontos en el mundo real.
• Este enfoque de ajuste rápido adversario ofrece una dirección prometedora para mejorar la seguridad de los modelos de lenguaje previamente entrenados.