Preste más atención a la robustez de los LLM en el aviso adversario para la minería de datos de instrucciones

Área de la Ciencia:

• Inteligencia artificial
• Procesamiento del lenguaje natural
• Aprendizaje automático

Sus antecedentes:

• El ajuste de instrucciones es clave para adaptar los comportamientos del modelo de lenguaje grande (LLM).
• Se puede lograr un alto rendimiento con datos de instrucción limitados y de alta calidad.
• La Dificultad de Seguimiento de Instrucciones (IFD) extrae datos cuando los LLM no siguen las instrucciones.

Objetivo del estudio:

• Investigar cómo la robustez de LLM a las solicitudes adversarias influye en la selección de datos de instrucción de alta calidad.
• Proponer un nuevo marco para la minería de datos de instrucción de alta calidad para la sintonización de instrucciones.

Principales métodos:

• Datos de instrucciones adversas generados mediante instrucciones de ataque.
• Se introdujo la métrica de Dificultad de Seguimiento de Instrucciones Adversaria (AIFD) utilizando pares de muestras.
• Desarrollo de la coherencia de incorporación de salida de instrucciones adversas (AIOEC) utilizando solo indicaciones para la minería de datos en línea.

Principales resultados:

• Los resultados experimentales demuestran la eficacia de los métodos propuestos por el DFAI y la AIOEC.
• El estudio pone de relieve la importancia de la robustez del LLM frente a las solicitudes adversas en la minería de datos.
• Ambos métodos identificaron con éxito datos de instrucción de alta calidad para la afinación.

Conclusiones:

• La robustez de LLM a las solicitudes adversarias es crucial para la minería de datos de instrucción efectiva.
• Los métodos propuestos por el AIFD y la AIOEC ofrecen mejoras significativas en el ajuste de instrucciones.
• La consideración de la robustez adversarial mejora la calidad y la utilidad de los datos de instrucción minados.