MSFI: スパイキングニューラルネットワークにおける多時間スケール空間空間特性の統合
Dengfeng Xue1, Wenjuan Li2, Chunfeng Yuan3
1School of Computer Science and Technology, Xidian University, Xi'an, Shaanxi, 710119, China.
まとめ
この研究は,多時間スケールの空間-時間特性を統合したスパイキングニューラルネットワーク (SNN) の新しいモジュールを導入し,ダイナミックビジョンセンサデータとさまざまな画像データセットのパフォーマンスを大幅に改善します.
科学分野:
- ニューロモルフィック・エンジニアリング
- 人工知能
- コンピュータ・ビジョン
背景:
- ダイナミック・ビジョン・センサ (DVS) は高解像度でタイム情報を取得します.
- スパイキングニューラルネットワーク (SNN) はイベントストリームを処理しますが,しばしば空間的依存性を無視します.
- 既存のSNNは,DVSデータから複雑な時空の特徴を抽出するのに苦労しています.
研究 の 目的:
- スペース・タイム・フィギュア・エクストラクションを強化するためのSNNのための新しいプラグ・アンド・プレイ・モジュールを提案する.
- DVSデータを処理する際にSNNの代表性を向上させる.
- 空間情報と複雑な時間動態の処理における現在のSNNの限界に対処する.
主な方法:
- マルチタイムスケール空間時間特征統合 (MSFI) モジュールの導入
- MSFIは短期空間時間モジュール (SSM) と長期空間時間モジュール (LSM) を含む.
- 抽出された時空の特徴とSNN内のオリジナルのスパイク機能の融合.
主要な成果:
- 提案されたMSFIモジュールは,SNNのパフォーマンスを大幅に改善します.
- ニューロモルフィックデータセット (CIFAR10- DVS,DVS128ジェスチャー,DVS128ガート) の改善が実証された.
- 静的なデータセット (CIFAR10/100,ImageNet) でベースラインと比較して優れた結果を達成しました.
結論:
- MSFIモジュールは,複数の時間スケールの空間-時間の特徴を効果的に抽出し統合します.
- MSFIは,DVSと静的な画像ソースからの複雑なデータを処理するSNNの能力を強化します.
- 提案されたアプローチは,視覚のタスクのためのSNNの能力を大幅に向上させます.
