生物学的に制約されたスケール不変ディープネットワークにおける階層的時間受容野とゼロショット時間スケール一般化

科学分野:

• 計算神経科学
• 認知科学
• ディープラーニング

背景:

• 人間の認知は、複数の時間スケールを横断する情報を統合します。
• 皮質階層には時間受容野（TRW）がありますが、局所回路はさまざまな時間定数を示します。
• これらの時間スケールを調和させることは、脳機能の理解にとって重要です。

研究 の 目的:

• ネストされた時間スケールを横断する情報統合をモデル化する、生物学的に制約されたディープニューラルネットワークを開発および評価すること。
• 効率的な学習と一般化におけるスケール不変事前条件の役割を調査すること。
• これらの事前条件が、シーケンシャル情報の脳による処理とどのように関連しているかを調査すること。

主な方法:

• 言語分類タスクで生物学的に制約されたディープネットワーク（SITHConおよびSITH-RNN）をトレーニングしました。
• 階層的な言語構造（文字から単語へ）を模倣しました。
• 汎用リカレントニューラルネットワーク（RNN）とのパフォーマンスを比較しました。

主要な成果:

• 階層的な時間受容野（TRW）が、フィードフォワードモデル（SITHCon）に自然に現れました。
• スケール不変なSITH-RNNは、汎用RNNよりも少ないパラメータで大幅に速く学習しました。
• SITH-RNNは、分布外の時間スケールに対してゼロショット一般化を示しました。

結論:

• スケール不変でシーケンシャルな事前条件は、脳における効率的な情報処理の基本です。
• これらの事前条件を組み込んだリカレントニューラルネットワークは、人間の認知のモデリングに適しています。
• これらの発見は、ニューラルシステムにおける時間的処理を理解するための計算フレームワークを提供します。