Aprendizaje Contrastivo Basado en Prompts para Extracción de Relaciones de Disparo Cero

Área de la Ciencia:

• Procesamiento del Lenguaje Natural
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• La extracción de relaciones es crucial para la adquisición de conocimiento, pero requiere una anotación de datos exhaustiva.
• El aprendizaje de disparo cero aborda los costos de anotación al permitir que los modelos identifiquen relaciones no vistas.
• Los métodos actuales de disparo cero tienen dificultades con diversas formulaciones de tareas, lo que lleva a un rendimiento subóptimo.

Objetivo del estudio:

• Desarrollar un enfoque novedoso para la extracción de relaciones de disparo cero explotando el conocimiento de los modelos de lenguaje preentrenados.
• Mejorar las capacidades de representación semántica de los modelos de extracción de relaciones para relaciones no vistas.
• Introducir un marco de aprendizaje contrastivo basado en prompts (PCRE) para mejorar la extracción de relaciones de disparo cero.

Principales métodos:

• Aprovechar el conocimiento semántico de los modelos de lenguaje preentrenados a través de la optimización de prompts.
• Aumentar las instancias con diversas plantillas de prompts para crear vistas duales para el aprendizaje contrastivo.
• Implementar un objetivo de contraste entre instancias y descripciones para extraer conocimiento relacional de las descripciones de texto.

Principales resultados:

• El método PCRE propuesto supera significativamente las bases de referencia existentes de última generación en la extracción de relaciones de disparo cero.
• Los resultados experimentales demuestran la robustez de PCRE en varios conjuntos de datos y configuraciones de entrenamiento.
• PCRE mejora eficazmente la capacidad del modelo para diferenciar entre relaciones vistas y no vistas.

Conclusiones:

• PCRE ofrece una dirección prometedora para mejorar la extracción de relaciones de disparo cero al utilizar eficazmente modelos de lenguaje preentrenados.
• La estrategia de aprendizaje contrastivo basado en prompts mejora las representaciones semánticas, lo que lleva a un rendimiento superior en la identificación de relaciones novedosas.
• La robustez del método sugiere su amplia aplicabilidad en tareas de extracción de conocimiento del mundo real.