Doble desviación para el aprendizaje en contexto ruidoso para la generación de texto

Área de la Ciencia:

• La inteligencia artificial es la inteligencia artificial.
• Procesamiento del lenguaje natural.

Sus antecedentes:

• El aprendizaje en contexto (ICL) depende de datos de alta calidad.
• Los métodos actuales para detectar datos ruidosos utilizando la perplejidad fallan cuando los niveles de ruido son altos.

Objetivo del estudio:

• Abordar las limitaciones de los métodos de detección de ruido basados en la perplejidad existentes en ICL.
• Desarrollar una métrica robusta para identificar la limpieza de la muestra independientemente de los niveles de ruido del cuerpo.

Principales métodos:

• Reexaminó los sesgos de perplejidad de las anotaciones y el conocimiento del dominio LLM.
• Se introdujo un marco de doble desviación utilizando vecinos sintetizados para corregir la perplejidad.
• Desarrolló un robusto puntaje de limpieza de la muestra.

Principales resultados:

• La puntuación de limpieza de la muestra propuesta identifica con precisión las muestras ruidosas a través de diferentes proporciones de ruido.
• El método demuestra capacidades superiores de detección de ruido en comparación con los enfoques existentes.
• El rendimiento de ICL utilizando el método propuesto es comparable al uso de un conjunto de datos completamente limpio.

Conclusiones:

• El marco de doble desviación supera efectivamente los sesgos de perplejidad en entornos ruidosos de ICL.
• El puntaje de limpieza de la muestra proporciona una medida confiable de la calidad de los datos.
• Este enfoque ofrece un rendimiento robusto incluso con ratios de ruido extremadamente altos en los datos de demostración.