潜在相互情報によるニューラル学習ダイナミクスの解明

科学分野:

• コンピュータサイエンス
• 機械学習
• 人工知能

背景:

• 畳み込みニューラルネットワーク（CNN）は画像分類の鍵となります。
• 学習中のCNN内の情報フローを理解することは非常に重要です。

研究 の 目的:

• CNNが自然画像分類中に情報を再編成する方法を調査すること。
• CNN表現における相互情報量（MI）の役割を分析すること。

主な方法:

• VGG-16、ResNet-18、およびResNet-50における入力、中間表現、およびラベル間の相互情報量を追跡しました。
• ノックアウト、シャッフル、および摂動を使用して、特定のチャネルにおける情報集中を分析しました。
• ヒルベルト・シュミット独立性基準に基づく依存関係認識正則化器を実装しました。

主要な成果:

• ラベル関連MIはネットワーク深度とともに増加しますが、入力MIはアーキテクチャによって変化します。
• 情報がチャネルのサブセットに集中し、それは精度に機能的に必要です。
• 選択的集中を促進する正則化器は、収束と精度を向上させます。

結論:

• CNN表現学習は、グローバル圧縮ではなく、選択的集中と脱相関によって駆動されます。
• 標的型正則化は、CNNを効率的な情報処理に導くことができます。
• 発見は、より効果的な深層学習モデルの設計に関する洞察を提供します。