Redes neuronales de gráficos de actualización de bordes para modelar interacciones de características en datos...

Área de la Ciencia:

• Aprendizaje automático Aprendizaje automático.
• Redes Neurales de Gráfico Las Redes Neurales de Gráfico.
• Ciencia de datos Ciencia de datos.

Sus antecedentes:

• El análisis de datos tabulares es crucial en el aprendizaje automático.
• Las redes neuronales gráficas (GNN) existentes se enfrentan a desafíos como el exceso de suavizado cuando se aplican a datos tabulares.
• Los árboles de decisión impulsados por gradientes (por ejemplo, XGBoost, CatBoost) son el estado de la técnica para datos tabulares.

Objetivo del estudio:

• Proponer una GNN de paso de mensajes basada en la Red de Isomorfismo de Gráficos (GIN) para mejorar el aprendizaje de datos tabulares.
• Para modelar interacciones de características complejas dentro de conjuntos de datos tabulares.
• Para abordar el problema de exceso de suavizado común en GNNs.

Principales métodos:

• Construye gráficos de características totalmente conectados y no ponderados a partir de datos tabulares utilizando codificaciones de características contextuales.
• Incorpora un nodo de clasificación para la representación gráfica durante la inferencia.
• Empleó una red neuronal para el aprendizaje de atributos de borde y utilizó conexiones residuales para actualizaciones de nodos y bordes para mitigar el exceso de suavizado.

Principales resultados:

• Logró el mejor rango medio entre 6 modelos de aprendizaje profundo tabular y GNN en 12 conjuntos de datos.
• Superó a XGBoost y CatBoost en todos los conjuntos de datos con hiperparámetros predeterminados y en 8 conjuntos de datos con hiperparámetros sintonizados.
• Superó el rendimiento de 5 GNNs comúnmente utilizados o propuestos recientemente en todos los conjuntos de datos probados.

Conclusiones:

• La arquitectura GNN propuesta demuestra un rendimiento superior en datos tabulares en comparación con el aprendizaje profundo y los modelos GNN existentes.
• El modelo maneja efectivamente las interacciones de características y mitiga el exceso de suavidad, ofreciendo una alternativa competitiva a los árboles impulsados por gradientes.
• Este enfoque GNN proporciona una nueva y poderosa herramienta para tareas de aprendizaje automático de datos tabulares.