ミックス精度メミリストルとSRAMコンピューティングインメモリAIプロセッサ
Win-San Khwa1, Tai-Hao Wen2, Hung-Hsi Hsu1,2
1Taiwan Semiconductor Manufacturing Company Limited (TSMC), Hsinchu, Taiwan, Republic of China.
Nature
|March 5, 2025
まとめ
この研究は,AIエッジデバイスのための新しい混合精度の異質コンピューティング・イン・メモリー (CIM) プロセッサを導入します. 異なるCIMアーキテクチャと番号フォーマットでタスクをインテリジェントに分割することで,エネルギー効率,精度,速度を最適化します.
科学分野:
- コンピュータ工学
- 人工知能のハードウェア
- エネルギー効率のよいコンピューティング
背景:
- AIのエッジデバイスには 高い精度で エネルギー効率のよい計算が求められ ストレージが大きく 応答時間が短くなります
- 均質なアーキテクチャ (メミストー-CIM,SRAM-CIM) または計算形式 (整数,浮動小数点) を使用する従来の計算内記憶 (CIM) アプローチは,効率,ストレージ,遅延,および精度においてトレードオフに直面します.
- 既存のソリューションは,エッジデバイスにおける現代のAIアプリケーションの要求を満たすのに苦労しています.
研究 の 目的:
- 従来の均質な設計の限界を克服する混合精度の異質なCIM AIエッジプロセッサを開発する.
- 異なるオンチップ CIM アーキテクチャとコンピューティングフォーマット間で,レイヤ・グラニュラ/カーネル・グラニュラによるネットワークレイヤの分割を可能にする.
- エネルギー効率,ストレージ,目覚め遅延,推論の精度を同時に最適化するために.
主な方法:
- メムリストル-CIM,SRAM-CIM,デジタルユニットを統合した異質なCIMアーキテクチャの実装.
- AI ネットワークのレイヤをレイヤ・グラニュラ/カーネル・グラニュラに分割するための柔軟なシステムの開発.
- 誤差感度分析に基づく混合精度計算 (整数と浮動小数点) のサポート
主要な成果:
- 高いエネルギー効率を達成しました: 40.91 TFLOPS/W (ResNet-20) と 28.63 TFLOPS/W (MobileNet-v2).
- ResNet-20とMobileNet-v2の両方の低精度劣化が実証されています.
- 373. 52 μsの迅速な覚醒応答時間を達成した.
結論:
- 提案された混合精度の異質CIMプロセッサは,AIエッジデバイスのエネルギー効率,精度,速度を効果的にバランスします.
- Layer-granular/kernel-granularパーティショニングは,多様なAIワークロードのための強力なハードウェアレベルの最適化戦略を提供します.
- このアプローチは,次世代のAIエッジコンピューティングのための費用対効果の高い,鋳造準備のソリューションを提供します.
関連する概念動画
01:25MOS Capacitor
666
A Metal-Oxide-Semiconductor (MOS) capacitor is a fundamental structure used extensively in semiconductor device technology, particularly in the fabrication of integrated circuits and MOSFETs (metal-oxide-semiconductor field-effect transistors). The MOS capacitor consists of three layers: a metal gate, a dielectric oxide, and a semiconductor substrate.
The metal gate is typically made from highly conductive materials such as aluminum or polysilicon. Beneath the metal gate lies a thin layer of...
The metal gate is typically made from highly conductive materials such as aluminum or polysilicon. Beneath the metal gate lies a thin layer of...
666
01:24Implicit Memories
81
Implicit memories, also known as non-declarative memories, are long-term memories that function outside of conscious awareness. These memories influence behavior and skills without explicit knowledge. This type of memory is evident in tasks like playing tennis, snowboarding, and texting. Implicit memory has three subsystems: procedural memory, conditioning, and priming. This type of memory is essential in various activities, from everyday tasks to specialized skills.
One key aspect of implicit...
One key aspect of implicit...
81
01:14Role of Cerebellum and Prefrontal Cortex in Memory
322
The cerebellum, while traditionally associated with motor control, also plays a crucial role in memory, particularly in procedural memory, which involves learning motor tasks that become automatic through repetition. For example, studies have shown that when the cerebellum is damaged, individuals or animals lose the ability to learn conditioned motor responses, such as the conditioned eye-blink response in classical conditioning experiments with rabbits. This study demonstrates the...
322