Doble profesor y doble grupo de indicaciones para el seguimiento de estado de diálogo de pocos ejemplos

Área de la Ciencia:

• Inteligencia Artificial
• Procesamiento del Lenguaje Natural
• Aprendizaje Automático

Sus antecedentes:

• El seguimiento del estado del diálogo (DST) es crucial para los sistemas de diálogo orientados a tareas (ToD).
• Los modelos DST de pocos ejemplos existentes tienen dificultades con la utilización de información semántica y la adaptabilidad.
• Los desafíos incluyen el aprovechamiento de información relacionada y la adaptación a diversos escenarios de diálogo.

Objetivo del estudio:

• Proponer el modelo de doble profesor y doble grupo de indicaciones para DST de pocos ejemplos (DDP-DST).
• Mejorar el procesamiento de información semántica y sintáctica para una mejor generación de pseudolabels.
• Mejorar la generación de valores de estado y la precisión general de DST en escenarios con datos limitados.

Principales métodos:

• Construir modelos de doble profesor para generar pseudolabels desde perspectivas complementarias.
• Emplear autoentrenamiento para refinar la generación de valores de estado.
• Utilizar una estrategia de ajuste fino de doble indicación con un grupo dinámico de indicaciones para la generación adaptativa de indicaciones.
• Incorporar errores de reconstrucción (RE) para mejorar la precisión del modelo.

Principales resultados:

• DDP-DST demuestra un rendimiento superior en el conjunto de datos MultiWOZ 2.1.
• Se lograron mejoras promedio del 4,3%, 2,4% y 2,0% en la precisión conjunta de objetivos (JGA) sobre los modelos de referencia (SM2-3b, DS2, SVAG).
• Supera a modelos más grandes en entornos de pocos ejemplos a pesar de tener menos de mil millones de parámetros.

Conclusiones:

• DDP-DST aborda eficazmente las limitaciones de los modelos DST de pocos ejemplos existentes.
• El enfoque propuesto de doble profesor y doble indicación aumenta significativamente la precisión y adaptabilidad de DST.
• Logra un rendimiento competitivo y, a menudo, superior en escenarios de pocos ejemplos, ofreciendo una solución eficiente.