トランスフォーマー脳エンコーダーは,人間の高レベルの視覚的反応を説明します

科学分野:

• 神経科学は神経科学である.
• 計算神経科学とは
• コンピュータビジョン コンピュータビジョン

背景:

• 自然主義的な視覚処理で脳の計算を理解することは,神経科学の重要な目標です.
• ディープニューラルネットワークとリニアエンコーディングモデルを使用する現在の方法は,機能マップ構造とダイナミックルーティングのキャプチャに制限があります.
• 静的な受容領域に焦点を当てた以前の代替案は,高レベルの視覚領域には不十分です.

研究 の 目的:

• 注意力メカニズムを使用して,視覚的特徴が,カテゴリー選択脳領域にダイナミックにルーティングされる方法を調査する.
• 人間の脳の視覚処理のためのより強力で解釈可能なコンピューティングモデルを開発する.
• attention-based routingの有効性を既存のコーディングモデルと比較する.

主な方法:

• トランスフォーマーアーキテクチャから機能ルーティングをモデル化するための注意力メカニズムを使用しました.
• 画像計算可能な深層ニューラルネットワークを特徴抽出器として利用した.
• モデルが様々な機能ベースとモダリティで自然シーンを眺めているときの脳活動データに対する予測力をテストしました.

主要な成果:

• 注意に基づくルーティングモデルは,脳の活動を予測する際の代替方法を大幅に上回った.
• このモデルは,異なる機能ベースのモデルとモダリティにおいて優れたパフォーマンスを示した.
• 注意を誘導する信号は容易に視覚化され,モデルの解釈性を高めることが判明しました.

結論:

• 注意力メカニズムは,脳のダイナミックな視覚機能ルーティングを理解するための強力な計算モチーフを提供します.
• このアプローチは,既存の方法と比較して,高レベルの視覚処理のためのより機械的で解釈可能なモデルを提供します.
• このモデルの高い性能は,視覚情報が人間の脳におけるコンテンツの関連性に基づいてどのようにルーティングされるかを説明する候補としてその可能性を示唆しています.