DA-MoE:通过专家的混合来解决图表级分析中的深度敏感性

科学领域:

• 机器学习 机器学习
• 图形神经网络的神经网络
• 人工智能的人工智能

背景情况:

• 图形神经网络 (GNN) 广泛用于图形数据处理.
• 现实世界的图形数据集表现出显著的尺度变化,导致GNN的深度敏感性.
• 现有的GNN方法通常使用固定数量的层,无法解决尺度依赖的最佳深度.

研究的目的:

• 为了解决由不同的图表尺度引起的GNN中的深度敏感性问题.
• 提出一种新的方法,使GNN层深度适应单个图形特征.
• 为了提高GNN在不同图形分析任务中的性能.

主要方法:

• 引入了深度适应性专家混合 (DA-MoE) 方法,用于GNN.
• DA-MoE使用不同的GNN层作为专家,每个都有独特的参数,允许在不同的规模上灵活聚合.
• 整合了一个使用GNN的门网来捕获复杂的结构模式和依赖关系,增强专家选择.

主要成果:

• DA-MoE 通过调整 GNN 层深度,有效地解决了深度敏感性问题.
• 在TU数据集和开放图表基准 (OGB) 上的实验表明,相对于现有的基线,性能优越.
• 该方法在图形,节点和链接级别分析中显示出一致的改进.

结论:

• DA-MoE提供了一种灵活和有效的方法来处理GNN图形数据中的尺度变化.
• DA-MoE的自适应性导致了更好的表示学习和任务执行.
• 这项工作为处理异质图形数据集的 GNN 应用提供了重大进展.