ダイナミックな外部メモリを持つニューラルネットワークを使用したハイブリッドコンピューティング
Alex Graves1, Greg Wayne1, Malcolm Reynolds1
1Google DeepMind, 5 New Street Square, London EC4A 3TW, UK.
Nature
|October 13, 2016
まとめ
新しい微分神経コンピュータ (DNC) モデルは,複雑なデータ操作と学習を可能にする外部メモリとニューラルネットワークを統合しています. このAIの進歩は 構造化された推論と長期データストレージにおける 伝統的なニューラルネットワークの限界を克服しています
科学分野:
- 人工知能
- 機械学習
- コンピュータ科学
背景:
- 人工ニューラルネットワークは 感覚とシーケンスの処理に優れているが 外部メモリが不足しているため 複雑なデータ構造と長期記憶に苦労している.
- 既存のニューラルネットワークモデルは,長期にわたる変数表現とデータ操作を必要とするタスクに限られています.
研究 の 目的:
- 外部メモリと対話できる 微分神経コンピュータ (DNC) を導入する.
- 外部メモリ機能を活用して複雑な推論と構造化されたタスクを学習し実行する能力を示す.
主な方法:
- ニューラルネットワークと読み書き外部メモリマトリックスを組み合わせた微分神経コンピュータ (DNC) モデルを開発した.
- 推論と推論のタスクのための監督学習と,目標指向のシーケンスタスクのための強化学習を使用してDNCを訓練しました.
- 合成と現実のグラフに基づく問題と シンボリックシーケンスのパズルを評価しました
主要な成果:
- DNCは自然言語の推論と推論を模倣した 合成的な質問に答えました
- 最短経路の発見とグラフリンクの推論の学習が実証され,輸送ネットワークとファミリーツリーに一般化されています.
- 移動ブロックのパズルを成功裏に完成させました シンボルシーケンスによって指定された変化するゴールです
結論:
- 区別可能なニューラルコンピュータ (DNC) は,外部メモリを組み込むことでニューラルネットワークと従来のコンピュータの間のギャップを埋めます.
- DNCは以前は標準的なニューラルネットワークでは 難解で構造的なタスクを 解決する能力を発揮しています
- この進歩は,高度な推論,データ操作,長期記憶を必要とする分野において AIに新たな可能性をもたらします.
関連する概念動画
Storage
476
A schema is a mental framework that helps individuals organize and interpret information. Schemata, formed from previous experiences, influence how we process new information: how we encode it, the inferences we make, and how we retrieve it. For instance, a schema for what a typical classroom looks like might include desks, a teacher's desk, a whiteboard, and students in such an environment. This expectation helps us quickly understand and navigate new classrooms without needing to analyze...
476
Neural Circuits
3.1K
Neural circuits and neuronal pools are two of the main structures found in the nervous system. Neural circuits are networks of neurons that work together to carry out a specific task or process. They consist of interconnected neurons and glial cells, which provide structural and metabolic support.
Neuronal pools are collections of nerve cells with similar functions and interact through chemical and electrical signals. These pools include both interneurons (the central neural circuit nodes that...
Neuronal pools are collections of nerve cells with similar functions and interact through chemical and electrical signals. These pools include both interneurons (the central neural circuit nodes that...
3.1K
System of Memory
7.7K
Memory is categorized into three major systems: sensory memory, short-term memory (STM), and long-term memory (LTM). These systems differ in their capacity and the duration for which they can hold information. Sensory memory captures raw sensory input from the environment, holding it for just a few seconds or less. For example, on hearing a brief, loud sound, like a car horn honking, the sound seems to linger in the mind for a moment even after it stops. This is an instance of sensory memory...
7.7K
Understanding Memory
1.7K
Memory is the retention of information or experiences over time, facilitated through three main processes: encoding, storage, and retrieval. Encoding is the process of inputting information into the memory system. For instance, when listening to a lecture, watching a play, reading a book, or having a conversation, the brain is actively encoding information. This initial stage involves transforming sensory input into a form that can be processed and stored by the brain. Various factors, such as...
1.7K
Higher Mental Functions of Brain: Learning and Memory
2.2K
Memory is one of the most vital higher mental functions of the brain. Memory is closely related to learning because it enables us to retain information and experiences from our past to use them in our present life. It also helps us to remember facts, events, and skills, such as riding a bike or swimming. There are two types of memory — declarative memory, which involves memorizing facts or events, and procedural memory, which enables us to remember how to do something like writing or...
2.2K
Neuroplasticity
2.2K
Neuroplasticity reflects the brain's remarkable capacity to adapt and evolve, responding dynamically to learning, experiences, or injury by reorganizing its neural circuitry. This reorganization involves creating new neural connections and refining old ones through a series of biological processes that contribute to the brain's lifelong development and adaptability.
2.2K

