深部物理ニューラルネットワークのバックプロパガンダフリートレーニング

科学分野:

• 人工知能
• 深層学習
• 物理コンピューティング

背景:

• ディープラーニングモデルは 大きくなると成功しますが エネルギーとスケーラビリティの課題に直面します
• 現在のデジタルディープラーニングのトレーニング方法は 物理的なハードウェアの実装には適していません

研究 の 目的:

• ディープ・フィジカル・ニューラル・ネットワークの訓練のための新しい物理ローカル・ラーニング (PhyLL) アルゴリズムを提案する.
• 非線形特性の詳細な知識を必要とせずに,物理的なニューラルネットワークの監督および無監督のトレーニングを可能にします.

主な方法:

• PhyLLアルゴリズムと統合されたシンプルなディープニューラルネットワークアーキテクチャを導入した.
• 音声と画像分類のタスクのためにPhyLLを使用して,波ベースの多様な物理ニューラルネットワークを訓練しました.

主要な成果:

• 異なる物理ニューラルネットワーク構成におけるPhyLLアプローチの普遍性を実証した.
• 既存のハードウェアに配慮したトレーニングプログラムと比較して,トレーニングのスピードが向上し,強度が向上し,電力消費量が減少しました.

結論:

• PhyLLアルゴリズムは,物理的なニューラルネットワークをトレーニングするための効率的でハードウェアに配慮したアプローチを提供します.
• この方法は,物理的な実装における従来のバックプロパガンダの制限を克服し,デジタル計算とエネルギー使用を削減します.