アナログメモリスタを用いたアクタークリティックネットワークによる報酬ベース学習の模倣

科学分野:

• ニューロモルフィックエンジニアリング
• 計算神経科学

背景:

• 現在の生物学的インスピレーションを受けたコンピューティングは、しばしば脳の一部しか模倣しません。
• メモリスタハードウェアは通常、学習アルゴリズムの限定的な機能に使用され、複雑なタスクにはソフトウェアが必要です。

研究 の 目的:

• アナログメモリスタを使用した完全に統合された強化学習システムを実証すること。
• ハードウェア全体で報酬ベースの学習を実行する生物学的インスピレーションを受けたニューラルネットワークアーキテクチャを作成すること。

主な方法:

• アナログメモリスタにアクタークリティック時間差アルゴリズムを実装しました。
• メモリスタを、シナプス重み、重み更新計算機、およびアクション決定者として多目的要素として使用しました。
• T字路およびモリス水迷路ナビゲーションタスクでフレームワークをテストしました。

主要な成果:

• オンラインでの重みトレーニングと時間誤差の直接的なハードウェア計算を達成しました。
• 重みトレーニングのためのデータ移動を排除する、完全なインメモリコンピューティングを可能にしました。
• メモリスタベースのシステムを使用して、シミュレートされた環境でのナビゲーションを正常に実証しました。

結論:

• この研究は、生物学的インスピレーションを受けたコンピューティングのための最初の完全にインメモリ、オンライン強化学習システムを提示します。
• このアプローチは、より効率的で脳のようなニューロモルフィックコンピューティングエンジンへの道を開きます。
• アナログメモリスタは、高度な人工知能ハードウェアの汎用性の高いコンポーネントとして機能できます。