フォワードプロジェクションによる閉形式フィードバックフリー学習

科学分野:

• 計算神経科学
• 機械学習

背景:

• 現在のバックプロパゲーション不要の方法は、最適化のために局所的な誤差フィードバックに依存しています。
• 後シナプス重み調整のための逆伝播通信がない設定には、重大な制限が存在します。

研究 の 目的:

• 逆伝播を回避するトレーニング方法であるフォワードプロジェクション（FP）を導入すること。
• 単一のフォワードパスのみを使用して効率的なニューラルネットワークトレーニングを可能にすること。

主な方法:

• FPは、ランダム化された非線形プロジェクションを使用してターゲットの事前活性化膜電位を生成します。
• 局所的な損失関数は閉形式回帰によって最適化され、下流層からのフィードバックの必要がなくなります。
• この方法は、データセット全体で単一のフォワードパスを利用します。

主要な成果:

• FPは勾配降下法ベースの局所学習法と同等の汎化性能を達成します。
• 単一のフォワードパス要件により、トレーニング速度の大幅な高速化が観察されます。
• 少数ショット学習において、FPモデルはバックプロパゲーション最適化モデルよりも優れた一般化能力を示します。
• FPネットワークにおける層ごとの膜電位は、解釈可能なラベル予測を提供します。

結論:

• フォワードプロジェクションは、従来のトレーニング方法に代わる、効率的で解釈可能な方法を提供します。
• FPは、逆伝播通信が限定的またはまったくないシナリオで特に有利です。
• この方法は、少数ショット学習タスクでの診断機能の特定を含む、生物医学的アプリケーションに有望です。