人工エージェントにおけるグリッドのような表現を用いたベクトルベースのナビゲーション

科学分野:

• 神経科学
• 人工知能
• 計算神経科学

背景:

• ディープ・ニューラル・ネットワークは 多くのタスクに優れているが ナビゲーションには苦戦する
• 哺乳類のナビゲーションは エントルヒナル皮質のグリッド細胞に依存し 空間的表現と経路の統合を行います
• 現在の人工物質は哺乳類に見られる 洗練された空間的認識を欠いています

研究 の 目的:

• 哺乳類のようなナビゲーション能力を備えた ディープ・レインフォース・ラーニング・エージェントを開発する
• 挑戦的な環境でエージェントのパフォーマンスを改善できるかどうかを調査する.
• ナビゲーションのための新興のグリッドのような表現の計算上の利点を探求する.

主な方法:

• 経路統合を繰り返すニューラルネットワークを訓練し,グリッドのような表現の出現を観察しました.
• 深層補強学習ナビゲーションエージェントの基盤として利用しました
• 熟悉しない変化する環境における専門家と比較剤との比較薬の性能を評価した.

主要な成果:

• リキュアントネットワークはグリッド細胞や他のエントロリン細胞に似た表現を開発した.
• グリッドのような表現を持つエージェントは,ナビゲーションのタスクにおいて,人間の専門家や他のエージェントを大幅に上回りました.
• 発生したグリッド型の単位は,ベクトルベースのナビゲーションのためのメトリック量を提供し,ショートカット行動を可能にしました.

結論:

• エマージント・グリッドのような表現は エウクリッド空間的メトリックとベクトル演算をエージェントに提供し, 熟練したナビゲーションに不可欠です.
• このアプローチは,ベクトルベースのナビゲーションにおけるグリッド細胞の役割に関する神経科学の理論を支持します.
• パスベースの戦略とベクトルベースの戦略をグリッドのような表現で組み合わせることで,複雑でダイナミックな環境でのナビゲーションが向上します.