Ajuste de instrucciones orientadas a gráficos de grandes modelos de lenguaje para la minería de gráficos genéricos

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Ciencia de los datos

Sus antecedentes:

• Las redes neuronales de gráficos (GNNs) tradicionalmente requieren capacitación específica para la tarea.
• Los grandes modelos de lenguaje (LLM) son prometedores, pero están poco explorados para la minería de gráficos genéricos.
• Se necesita un modelo unificado para diversas tareas de gráficos y conjuntos de datos.

Objetivo del estudio:

• Desarrollar un nuevo marco, MuseGraph, que integre GNN y LLM para la minería de gráficos versátiles.
• Permitir que un solo modelo maneje múltiples tareas de gráficos y conjuntos de datos simultáneamente.
• Mejorar las capacidades generativas de los LLM al tiempo que mejora el rendimiento de la minería de gráficos.

Principales métodos:

• Desarrolló una descripción gráfica compacta para la eficiencia del token de lenguaje.
• Propuso un mecanismo diverso de generación de instrucciones con cadena de pensamiento (CoT) para destilar el razonamiento de LLM.
• Diseñó una estrategia de ajuste de instrucciones consciente de gráficos para evitar el olvido catastrófico y promover la mejora mutua.

Principales resultados:

• MuseGraph demostró mejoras significativas en cinco tareas gráficas y diez conjuntos de datos.
• El marco mejora la precisión en las tareas orientadas a gráficos.
• Se observaron mejores capacidades de generación de LLM junto con el rendimiento de minería de gráficos.

Conclusiones:

• MuseGraph ofrece un poderoso modelo de base para la minería de gráficos genéricos.
• La integración de las GNN y las LLM presenta una dirección prometedora para la investigación futura.
• Este enfoque aborda las limitaciones de los GNN tradicionales y amplía las aplicaciones de LLM.