意思決定変数相関を用いたタスク関連表現類似性の定量化 | JoVE Visualize

科学分野:

神経科学
人工知能
コンピュータビジョン

背景:

視覚野の神経表現と深層ニューラルネットワーク（DNN）を比較することは、生物学的および人工的な視覚の両方を理解するために重要である。
以前の研究では、神経活動とDNN表現の類似性に関して、結果はまちまちであった。
一般的な表現アラインメントだけでなく、タスク関連の意思決定戦略を具体的に評価するための新しい方法が必要である。

研究の目的:

意思決定戦略の類似性を定量化する新しいアプローチとして、意思決定変数相関（DVC）を提案し評価すること。
サル視覚野（V4/IT）のタスク関連表現と、画像分類でトレーニングされたDNNのタスク関連表現を比較すること。

主な方法:

内部表現からデコードされた意思決定の画像ごとの相関を測定するために、意思決定変数相関（DVC）を開発した。
分類タスク中のサルV4/ITからの神経記録を収集した。
敵対的トレーニングや大規模データセットでの事前トレーニングを含む、画像分類タスクでトレーニングされた様々なDNNを利用した。

主要な成果:

モデル間およびサル間の類似性は同等であったが、モデルとサルの類似性は一貫して低かった。
ネットワークがImageNet-1kで達成したパフォーマンスが向上するにつれて、意思決定変数相関（DVC）は低下した。
敵対的トレーニングと大規模データセットでの事前トレーニングは、タスク関連次元におけるモデルとサルの類似性を改善しなかった。

結論:

意思決定変数相関（DVC）は、タスク関連情報を効果的に捉え、意思決定戦略の違いを明らかにする。
サルV4/ITにおけるタスク関連表現は、標準的な画像分類DNNによって学習されたものとは分岐している。
現在のDNNトレーニング方法は、生物学的視覚と比較して、意思決定戦略のギャップを完全には埋めていない。