モデルベース強化学習のためのマルチコンパートメントニューロンを用いたスパイク世界モデル

科学分野:

• 計算神経科学
• 人工知能
• 機械学習

背景:

• スパイクニューラルネットワーク（SNN）は知覚において有望ですが、モデルベース強化学習（RL）では十分に探求されていません。
• 既存のSNNは、RLにおける正確な世界モデルに必要な長期時間記憶に苦労しています。
• 生物学的ニューロンの動的な樹状突起統合は、SNN能力の向上に洞察を提供します。

研究 の 目的:

• SNNにおける時間情報の処理を強化するための新しいマルチコンパートメントニューロンモデルを開発すること。
• SNNを使用したモデルベースの深層強化学習のためのスパイク世界モデル（Spiking-WM）を構築すること。
• Spiking-WMの性能と長期記憶能力を評価すること。

主な方法:

• 非線形、多重樹状突起情報統合のためのマルチコンパートメントニューロンモデルを提案しました。
• スパイク状態空間、畳み込み、およびポリシーネットワークを統合したSpiking-WMを開発しました。
• DeepMind Control Suiteおよび複数の音声データセットでSpiking-WMを評価しました。

主要な成果:

• Spiking-WMは、RLタスクにおいて既存のSNNモデルよりも優れた性能を示しました。
• ゲート付き再帰型ユニット（GRU）を使用した人工ニューラルネットワーク（ANN）世界モデルに匹敵する性能を達成しました。
• マルチコンパートメントニューロンモデルは、長い音声シーケンスの処理において他のSNNを上回りました。

結論:

• 提案されたマルチコンパートメントニューロンモデルは、RLのためのSNNの時間処理を強化します。
• Spiking-WMは、SNNを使用したモデルベースの深層強化学習を効果的に可能にします。
• このアプローチは、複雑な意思決定と長シーケンスデータ処理のためのSNNを進歩させます。