グラフニューラルネットワークのための複数解釈アンサンブル蒸留

科学分野:

• 人工知能
• 機械学習
• グラフニューラルネットワーク

背景:

• 既存のグラフ知識蒸留方法は、単純なロジット整合による「ダーク知識」の吸収が限定的であり、過剰適合や不完全なパターンのキャプチャにつながるという問題を抱えています。
• 単一の学生の視点は、グラフベースのタスクにおける学習効果と一般化能力を制限します。

研究 の 目的:

• 改善されたグラフ知識蒸留のための新しい複数解釈アンサンブル蒸留（MIED）方法を導入すること。
• 多様な知識解釈を可能にし、学生モデルの堅牢性と一般化能力を強化することにより、既存の方法の限界に対処すること。

主な方法:

• 表現バイアスを軽減するために、多様な学生の出力から知識を解釈するマルチインタープリターである学生解釈（SI）コンポーネントを開発しました。これは複数の単層MLPを使用します。
• サンプルの選択を調整するために、教師（パーセンテージランダム）と学生/SIコンポーネント（ポジティブネガティブ）の出力に対して異なる戦略を持つハイブリッドサンプリングを導入しました。
• SIコンポーネントの融合に基づいて、学生の最後の層のパラメータの指数移動平均を使用することにより、堅牢性と一般化を強化する階層的更新を実装しました。

主要な成果:

• MIEDは、7つの実世界のデータセットにおけるノード分類タスクで、既存の方法を大幅に上回っています。具体的には、グラフ畳み込みネットワーク（GCN）と比較して平均5.56％、多層パーセプトロン（MLP）と比較して27.43％の改善を示しました。複数の個別の学生を使用する場合と比較して、MIEDは同等またはそれ以上の精度を達成し、効率（6.00％高速、50.00％少ないスペース）を大幅に向上させました。

結論:

• MIEDは、特に複雑なサンプルに対して効果的な、グラフ知識蒸留のためのスケーラブルで一般化可能で堅牢なソリューションを提供します。
• 提案された方法は、教師の「ダーク知識」の吸収を正常に強化し、従来のを超える学生モデルのパフォーマンスを向上させます。