ニューロモルフィックビジョンセンサーを用いた目の動き分類

科学分野:

• 神経科学は神経科学である.
• コンピュータビジョン コンピュータビジョン
• 生物学的にインスパイアされたコンピューティング

背景:

• 目の動きの分類 (固定,サッカード) は,神経学的および認知的プロセスを理解するために重要です.
• 従来型のRGBカメラは,モーションブラザー,レイテンシー,ノイズに悩まされ,アイトラッキングの精度を制限しています.
• ニューロモルフィックイベントカメラ (EC) は,高速な眼の動きに理想的な,非同期的な,高時間解像度のデータをキャプチャしますが,その稀少なデータは従来のアルゴリズムに挑戦します.

研究 の 目的:

• イベントカメラデータを用いて,目の動きの分類のためのスパイキングニューラルネットワーク (SNN) の有効性を検証する.
• 稀少でイベントベースのビジュアルストリームを処理するように設計された新しいコンボリューション性SNNアーキテクチャを導入する.
• イベントベースのアイトラッキングタスクにおけるSNNのパフォーマンスのベンチマークを確立する.

主な方法:

• 最大の公開イベントベースのアイトラッキングベンチマークであるEV-Eyeデータセットをサッカードと固定シーケンスに手動で注釈しました.
• イベントカメラからのスパイクストリームを直接処理するコンヴォルショナルなスパイクニューラルネットワーク (SNN) アーキテクチャを開発および実装しました.
• 提案されたSNNモデルを既存のスパイキングネットワーク (SpikingVGG, SpikingDenseNet) と比較し,人工ニューラルネットワーク (ANN) との計算複雑さを比較した.

主要な成果:

• 10人のユーザーからのデータでサッカードと固定を分類する際に94%の精度と0.92の精度を達成しました.
• 人工ニューラルネットワーク (ANN) に比べて計算効率の10倍以上の改善が実証されています.
• 稀少でイベントベースのビジュアルデータを処理するためのSNNの堅実性と効率性を強調しました.

結論:

• スパイキングニューラルネットワーク (SNN) は,イベントカメラデータを用いて目の動きを分類するための効率的かつ堅牢なソリューションを提供します.
• このアプローチは,高速で低消費量の神経認知診断システムを開発する大きな可能性を秘めています.
• この研究は,イベントベースのアイトラッキングにおけるSNNsの応用を先駆けており,パフォーマンスと効率の新たな基準を設定しています.