アナログメモリを使用した等価精度の加速ニューラルネットワークトレーニング
Stefano Ambrogio1, Pritish Narayanan1, Hsinyu Tsai1
1IBM Research-Almaden, San Jose, CA, USA.
Nature
|June 8, 2018
まとめ
この研究は,より速く,よりエネルギー効率の良いニューラルネットワークのトレーニングのための新しい混合ハードウェア-ソフトウェアアプローチを導入します. この新しい方法は,ソフトウェアのトレーニングに匹敵する分類精度を達成し,計算効率を大幅に高めます.
科学分野:
- 材料科学
- コンピュータ科学
- 電気工学
背景:
- ニューラルネットワークのトレーニングは,メモリとプロセッサの間のデータ転送のためにエネルギーが密集しています.
- アナログ非揮発性記憶は,現地トレーニングの可能性を秘めているが,精度の制限に直面している.
- 既存のアナログメモリハードウェアは,不十分なダイナミックレンジと重量アップデート非対称性を示しています.
研究 の 目的:
- 効率的なニューラルネットワークのトレーニングのための混合ハードウェア・ソフトウェアシステムを開発する.
- 非揮発性メモリを使用した in situ トレーニングの精度制限を克服する.
- ニューラルネットワーク加速器のコンピューティングエネルギー効率とスループットを向上させる.
主な方法:
- 最大204,900のシナプスを持つ ハードウェアとソフトウェアの混合ニューラルネットワークを実装しました.
- 長期記憶のためのフェーズチェンジメモリと,近線的な更新のための揮発性コンデンサを使用した.
- 装置の変動を軽減するために重量データの転送のために"極性逆転"を使用します.
主要な成果:
- 標準的な機械学習データセット (MNIST,CIFAR-10/100) のソフトウェアベースのトレーニングに相当する一般化の精度を達成しました.
- 計算エネルギー効率は28,065億オペレーション/秒/ワットと証明されています.
- 面積あたりの計算されたスループットは,現在のグラフィック処理ユニットを2桁上回る.
結論:
- 開発されたシステムは,ニューラルネットワークのための高速でエネルギー効率の高いハードウェアアクセラレータへの実行可能な経路を提供します.
- このアプローチは,完全に接続されたニューラルネットワーク層では特に有効です.
- この発見は次世代のAIハードウェアに 道を切り開きます
関連する概念動画
Improving Translational Accuracy
15.0K
Base complementarity between the three base pairs of mRNA codon and the tRNA anticodon is not a failsafe mechanism. Inaccuracies can range from a single mismatch to no correct base pairing at all. The free energy difference between the correct and nearly correct base pairs can be as small as 3 kcal/ mol. With complementarity being the only proofreading step, the estimated error frequency would be one wrong amino acid in every 100 amino acids incorporated. However, error frequencies observed in...
15.0K
Equivalent Capacitance
2.2K
Multiple capacitors can be connected in a circuit in series or parallel configuration. When the capacitor combination is connected to a battery, the potential drop across each capacitor and the magnitude of charge stored in the individual capacitor depends on the type of the connection. The capacitor combination is replaced by a single equivalent capacitor that stores the same amount of charge as the combination for a given potential difference.
The following strategies are adopted to calculate...
The following strategies are adopted to calculate...
2.2K
Pharmaceutical Equivalents
205
As defined by regulatory standards, pharmaceutical equivalents require generic drug products to have identical dosage forms and chemically identical active pharmaceutical ingredients (APIs). They must adhere to compendial or applicable standards for potency, content uniformity, disintegration times, and dissolution rates. In the case of modified-release dosage forms, variations in drug content are permissible as long as the delivered amount remains consistent with the innovator drug product.
205
Uncertainty in Measurement: Accuracy and Precision
102.9K
Scientists typically make repeated measurements of a quantity to ensure the quality of their findings and to evaluate both the precision and the accuracy of their results. Measurements are said to be precise if they yield very similar results when repeated in the same manner. A measurement is considered accurate if it yields a result that is very close to the true or the accepted value. Precise values agree with each other; accurate values agree with a true value.
102.9K
Accelerators
292
Accelerators in concrete serve as admixtures to speed up the hardening process, enabling the concrete to achieve early strength faster. Although accelerators do not necessarily impact the time it takes concrete to set, they reduce this time in practice. A common accelerator is calcium chloride, which is particularly useful for hastening early strength development in cold weather or for rapid repair jobs that require quick heat generation after mixing.
The effectiveness of calcium chloride can...
The effectiveness of calcium chloride can...
292
Protein Networks
4.6K
An organism can have thousands of different proteins, and these proteins must cooperate to ensure the health of an organism. Proteins bind to other proteins and form complexes to carry out their functions. Many proteins interact with multiple other proteins creating a complex network of protein interactions.
These interactions can be represented through maps depicting protein-protein interaction networks, represented as nodes and edges. Nodes are circles that are representative of a protein,...
These interactions can be represented through maps depicting protein-protein interaction networks, represented as nodes and edges. Nodes are circles that are representative of a protein,...
4.6K


