Cogformer: fMRIを用いた視覚的デコーディングと再構築のための統一的多重脳表現

科学分野:

• 神経科学と人工知能
• 計算神経科学
• 脳画像処理のための機械学習

背景:

• 深層生成モデル（DGM）はfMRIデコーディングにおいて進歩を遂げていますが、データ量の制限や信号対雑音比の低さといった課題に直面しています。
• 正確な脳活動表現は、神経プロセスを理解するために不可欠です。
• 既存の方法は、fMRIデータ固有の複雑さとノイズに対処するのに苦労しています。

研究 の 目的:

• fMRIデコーディングのための新しい多重スケール脳表現法であるCogformerを導入すること。
• 現在の深層生成モデル（DGM）がfMRIデータの課題に対処する上での限界に対処すること。
• 脳活動の再構築とデコーディングの精度と一般化を向上させること。

主な方法:

• 自己注意機構を利用してfMRI活動の多重スケール表現を獲得するCogformerを開発しました。
• 構造的および意味的特徴のためのクロスアテンションを介した同期デコーディングと動的分離戦略を統合しました。
• 画像キャプション生成や再構築といった困難なタスクにおいて、意味的整合性を高めるために事前拡散モジュールを採用しました。

主要な成果:

• Cogformerは、カテゴリ分類、マルチラベル分類、画像検索において、Transformerベースラインと比較して優れたパフォーマンスを達成しました。
• 画像キャプション生成と再構築において、最先端の方法に対して競争力のあるパフォーマンスを示しました。
• 広範な視覚デコーディングタスクにわたる強力なデコーディング能力と一般化の可能性を示しました。

結論:

• Cogformerは、fMRIデータからの多重スケール脳表現のための強力で統一されたアプローチを提供します。
• この方法は、fMRIにおけるサンプル数の制限と信号対雑音比の低さという課題を効果的に克服します。
• Cogformerは、多様な視覚タスクにおける脳活動のデコーディングにおいて重要な進歩を表しています。