時間的局所的注意と適応的デコーディング：時間的コンピューティングアプリケーションのためのスパイクニューラルネットワークの強化
Hanxiao Fan1, Hanle Zheng1, Zikai Wang2
1Center for Brain-Inspired Computing Research, Department of Precision Instrument, Tsinghua University, Beijing, 100084, China.
まとめ
スパイクニューラルネットワーク（SNN）は長いシーケンスに苦労します。時間的局所的注意（TLA）と適応的デコーディング（AD）は、時間的コンピューティングのためにSNNを強化し、パフォーマンスとトレーニング速度を向上させます。
科学分野:
- 人工知能
- 計算神経科学
背景:
- スパイクニューラルネットワーク（SNN）は、脳にインスパイアされたダイナミクスとエネルギー効率により、複雑な学習と時間的コンピューティングの可能性を提供します。
- しかし、SNNは長いシーケンスの勾配伝播に課題があり、時間的特徴を捉える上での有効性を制限しています。
研究 の 目的:
- 時間的コンピューティングタスクにおけるSNNパフォーマンスを強化するための新しいメカニズムを導入すること。
- 特に長いシーケンスと勾配伝播に関して、SNNのトレーニングと推論の制限に対処すること。
主な方法:
- シーケンス長を削減し、勾配の流れを改善するために、時間的局所的注意（TLA）を導入しました。
- パフォーマンス相関に基づいてSNN出力を最適化するために、適応的デコーディング（AD）を組み込みました。
- 包括的なSNNモデリングとトレーニングのために、TLAとAD（TLA-AD）を統合しました。
主要な成果:
- TLA-AD法は、パラメータ数を増やさずにSNNのパフォーマンスを大幅に向上させ、トレーニングを加速します。
- DEAPデータセット（感情価93.52％、覚醒度93.41％）で最先端の精度を達成しました。
- SEED（87.41％）およびIMDB（86.31％）データセットで、他のSNNメソッドと比較して競争力のある精度を示しました。
結論:
- TLA-ADは、時間的コンピューティングにおけるSNNの効果的な最適化戦略を提供します。
- 提案された方法は、SNNのトレーニングとパフォーマンスにおける主要な制限を克服します。
- この研究は、時系列データ分析におけるより高度で効率的なSNNアプリケーションへの道を開きます。
