对于记忆神经网络的错误意识概率训练

科学领域:

• 神经形态工程的神经形态工程
• 材料科学 材料科学 材料科学
• 计算机科学 计算机科学

背景情况:

• 模拟内存计算设备通过利用物理定律进行计算,提供高能效.
• 模拟硬件中的随机设备特征与像反向传播 (BP) 等确定性训练算法发生冲突,阻碍了性能.
• 在模拟设备物理和传统的深度学习培训方法之间存在不匹配.

研究的目的:

• 为训练模拟内存计算设备提出和验证一个错误感知概率更新 (EaPU) 方法.
• 在模拟硬件培训中解决算法-设备不匹配问题.
• 通过对memristor系统进行深度神经网络训练来证明显著的能源减少和性能提高.

主要方法:

• 开发了一个错误感知概率更新 (EaPU) 方法,利用设备编写噪声进行重量更新.
• 经过实验验证的EaPU在180nm的memristor系统上用于图像消噪和超分辨率任务.
• 在包括ResNet和Vision Transformers在内的深度学习模型上模拟EaPU性能.

主要成果:

• EaPU将重量更新降低到传统BP的1‰以下,精度损失最小.
• 在EaPU培训中,memristor系统的准确性提高了60%以上.
• 与基于BP的memristor训练和MADEM相比,EaPU展示了大量的节能:~50.54×和13.23×较低的训练能量.
• 基于EaPU的memristor硬件实现了几乎6个数量级低于GPU的训练能量.

结论:

• EaPU提供了一种精确有效的方法来训练基于模拟设备的深度神经网络.
• 提出的方法有效地弥合了随机模拟硬件和决定性训练算法之间的差距.
• EaPU代表了节能神经形态计算和人工智能硬件的重大进步.