深層トランスフォーマーの訓練可能性を予測する信号伝播の幾何学的ダイナミクス

科学分野:

• 深層学習
• 人工知能
• ニューラルネットワークアーキテクチャ

背景:

• 深層トランスフォーマーは強力であるが、信号伝播と勾配ダイナミクスの問題により訓練が困難である。
• ランダムな初期化は、しばしば勾配の爆発または消失につながり、効果的な学習を妨げる。

研究 の 目的:

• 深層トランスフォーマーにおけるハイパーパラメータ初期化のための幾何学的に意味のある基準を開発すること。
• 順伝播と逆伝播を分析することにより、深層トランスフォーマーの訓練可能性を保証すること。

主な方法:

• 深層のランダムに初期化されたトランスフォーマーにおける順信号伝播と勾配逆伝播を調査した。
• トークンベクトルをトランスフォーマー層を進化する粒子として扱うダイナミカルな視点を利用した。
• アンサンブル平均された幾何学的更新方程式を導出し、相転移を分析した。

主要な成果:

• 順信号伝播（トークン角度）における秩序-カオス相転移を特定した。
• 逆伝播における勾配爆発/消失間の遷移を観察した。
• 位相境界と2つのリャプノフ指数（トークン角度と勾配指数）を導出した。

結論:

• トークン角度指数と勾配指数の同時消失は、ハイパーパラメータ初期化のための単純な基準を提供する。
• これらの基準は、テスト損失の最小化と相関しており、より安定した効果的な深層トランスフォーマーの訓練への道を示唆している。