エネルギー効率の良いスピーチ認識とトランスクリプションのためのアナログAIチップ
S Ambrogio1, P Narayanan2, A Okazaki3
1IBM Research - Almaden, San Jose, CA, USA. stefano.ambrogio@ibm.com.
Nature
|August 23, 2023
まとめ
この研究は,人工知能 (AI) のタスクのためのエネルギー効率の良いアナログAIチップを導入します. このチップは高い性能とソフトウェアに相当する精度を達成し,現在のAIハードウェアの限界を克服しています.
科学分野:
- 人工知能
- コンピュータ工学
- 材料科学
背景:
- 大規模な人工知能 (AI) モデルは従来のプロセッサに相当なエネルギーを要求します.
- アナログインメモリーコンピューティング (アナログAI) は,AIの潜在的エネルギー効率の向上を提供します.
- 既存のアナログ-AIアプローチでは 複雑なモデルの精度や 相互通信に問題があります
研究 の 目的:
- 高いエネルギー効率とソフトウェアと同等の精度を持つ アナログAIチップを開発する.
- 大規模なニューラルネットワークにおける アナログAIのスケーリングの課題に取り組むこと
- アナログAIで並列処理と通信のための新しいアーキテクチャを実証する.
主な方法:
- アナログAIチップを設計し製造し 34のタイルに3500万の相変化メモリデバイスを統合しました
- 大規模な平行通信と低電力アナログ周辺回路を導入しました.
- キーワードスポッティングと再発性ニューラルネットワークトランスデューサー (RNNT) を含むニューラルネットワークモデルをチップのメモリデバイスにマッピングします.
主要な成果:
- ワットあたり最大12.4テラオペレーション (TOPS/W) のチップ対応性能を達成した.
- キーワード検出ネットワークの完全エンドツーエンドソフトウェア等価 (SWeq) の精度が実証されています.
- 5つのチップで1億4000万台以上のメモリデバイスを使用したMLPerfリキュアントニューラルネットワークトランスデューサー (RNNT) のベンチマークでSWeqに近い精度を達成しました.
結論:
- 開発されたアナログAIチップは,エネルギー効率の良いAI処理のための実行可能なソリューションを提供します.
- このアーキテクチャは,複雑なAIモデルのスケーラビリティと高精度性を成功裏に実証しています.
- この研究は次世代AIハードウェアの アナログコンピューティングの分野を前進させています
関連する概念動画
01:16Non-equilibrium in the Cell
4.5K
An important concept in studying metabolism and energy is that of chemical equilibrium. Most chemical reactions are reversible. They can proceed in both directions, releasing energy into their environment in one direction, and absorbing it from the environment in the other direction. The same is true for the chemical reactions involved in cell metabolism, such as the breaking down and building up of proteins into and from individual amino acids, respectively. Reactants within a closed system...
4.5K
01:17Operational Amplifiers
1.0K
The operational amplifier, often referred to as an op-amp, is a multifaceted building block of a circuit. This electronic component functions like a voltage-controlled voltage source and can also be used to create a voltage- or current-controlled current source. The design of an operational amplifier enables it to execute mathematical operations when external components like resistors and capacitors are linked to its terminals. An op-amp has the capacity to sum signals, amplify a signal,...
1.0K
01:17Characteristics of OpAmp
820
The operational amplifier, commonly known as an op-amp, is a specially designed electronic circuit component. Its purpose is to work in conjunction with other circuit elements to execute a defined signal-processing operation. Consider an equivalent circuit model of an op-amp, as depicted in Figure 1; the output section comprises a voltage-controlled source in parallel with the output resistance Ro.
820
01:27Air-entraining Agents
95
Air-entraining agents improve the durability and workability of concrete in climates with frequent freezing and thawing. These agents prevent cracks by introducing small air bubbles into the mix, creating spaces accommodating water expansion when temperatures drop. The air-entraining agents lower the surface tension of water, forming stable, small air bubbles. This method is more effective than having accidental large voids, as the intentional, smaller, and evenly distributed air voids improve...
95
01:22Amplifying Signals via Enzymatic Cascade
8.5K
When a ligand binds to a cell-surface receptor, the receptor's intracellular domain changes shape, which may either activate its enzyme function or allow its binding to other molecules. The initial signal is amplified by most signal transduction pathways. This means that a single ligand molecule can activate multiple molecules of a downstream target. Proteins that relay a signal are most commonly phosphorylated at one or more sites, activating or inactivating the protein. Kinases catalyze...
8.5K