高密度に接続された生物学的ネットワークにおける強化学習

科学分野:

• 計算神経科学
• 人工知能
• 進化的計算

背景:

• 勾配の問題（爆発/消失）と進化的方法の収束の遅さにより、再帰型ニューラルネットワーク（RNN）のトレーニングは困難です。
• 既存の方法では、生物学的に着想を得た複雑なニューラルアーキテクチャの効率的な最適化に苦労しています。

研究 の 目的:

• 再帰型ニューラルネットワークのトレーニングのための新しい勾配フリー最適化フレームワークを導入すること。
• 生物学的に関連のあるタスクで、カエノラブディティス・エレガンスのコネクトームを使用して提案された方法をベンチマークすること。
• 生物学的に由来する重み事前分布がニューラルネットワークの洗練に有効であるかどうかを調査すること。

主な方法:

• 進化的探索と直接探索の活用を組み合わせたハイブリッドフレームワークである、進化的非線形最適化とメッシュ適応直接探索（ENOMAD）を開発しました。
• 勾配フリー最適化プロセス内に強化学習の原則を実装しました。
• ベンチマークのために、カエノラブディティス・エレガンスのニューラルコネクトームと食物探索タスクを利用しました。

主要な成果:

• ENOMADは再帰型ネットワークのトレーニングに成功し、トレーニングされていないネイティブ回路を大幅に上回りました。
• この方法は、特定のタスクのために自然な再帰型ネットワークの効率的な専門化を示しました。
• 生物学的に由来する重み事前分布は、ニューラル回路網の完全な再構築ではなく洗練を可能にし、転移学習を示しました。

結論:

• 進化的探索と非線形最適化を統合することは、RNNの専門化のための効率的で生物学的に根拠のある戦略を提供します。
• ENOMADは、計算神経科学とAIの研究を進歩させるための強力なツールを提供します。
• このフレームワークは、生物学的および人工的なニューラルシステムにおける学習と適応の研究を容易にします。