関連する実験動画

監視されていないニューラルネットワークの"覚醒睡眠"アルゴリズム

G E Hinton¹, P Dayan, B J Frey

¹Department of Computer Science, University of Toronto, Ontario, Canada.

Science (New York, N.Y.)

|May 26, 1995

まとめ

この研究は,ストキャスティックニューラルネットワークのための無監督学習アルゴリズムを導入します. 異なる"覚醒"と"睡眠"の段階を使用して,認識と生成接続の両方を訓練し,データの表現と再構築を改善します.

科学分野:

計算神経科学とは
機械学習 (Machine Learning) とは,機械学習 (Machine Learning) について学ぶことです.
人工知能 (AI) とは,人工知能 (AI) のことです.

背景:

人工ニューラルネットワークの訓練には,多くの場合,大きなラベル付きのデータセットが必要です.
無監督学習方法は,ラベルを付けていないデータから表現を学習することを目的としています.
生物学的脳における階層的な処理は,層のネットワークアーキテクチャをインスパイアします.

研究の目的:

多層ストキャスティックニューラルネットワークのための新しい無監督学習アルゴリズムを記述する.
ネットワークが表現を学習し,明確なラベルなしでデータを再構築できるようにする.
神経コンピューティングにおける認識と生成プロセスの相互作用を調査する.

主な方法:

ストキャスティックニューロンの多層ネットワークのための無監督学習アルゴリズムの開発.
入力から表示へのマッピングのためのボトムアップ"認識"接続の実装.
描写から再構築のマッピングのためのトップダウン"生成"接続の実装.
2つの異なるフェーズ: "覚醒"フェーズ (認識主導) と"睡眠"フェーズ (生成主導).
正しいアクティビティベクトルの再構築と生産の確率を改善するために,接続重量の適応.

主要な成果:

アルゴリズムは,多層のネットワークで認識と生成接続の両方を成功裏に訓練します.
"覚醒"段階は,正確なボトムアップ再構築のための生成接続を最適化します.
"スリープ"フェーズは,正確なトップダウン生産のために認識接続を最適化します.
この二段階のアプローチは,階層表現の無監督学習を可能にします.

結論:

提案された無監督学習アルゴリズムは,ストキャスティックニューラルネットワークを効果的に訓練します.
"wake-sleep"メカニズムは,機能抽出とデータ生成の両方の学習を容易にする.
この方法は,より生物学的に妥当で効率的なAIシステムを開発するための有望なアプローチを提供します.

関連する概念動画