模拟电阻开关设备用于训练深度神经网络,使用新的Tiki-Taka算法

科学领域:

• 材料科学 材料科学 材料科学
• 计算机工程 计算机工程
• 人工智能的人工智能

背景情况:

• 训练大型神经网络 (NN) 受到离芯片内存的通信瓶的阻碍.
• 将模拟内存交叉阵列集成到后端线 (BEOL) 中,为存储NN参数和执行突触操作提供了一个解决方案.
• 蒂基-塔卡算法有助于NN训练,尽管设备有缺陷,但需要特定的电阻开关设备特性.

研究的目的:

• 开发和演示一种与Tiki-Taka算法兼容的新型电阻开关设备,用于增强NN训练.
• 为了解决无法满足Tiki-Taka要求的现有设备的局限性:多个可编程状态,中心对称点和低编程噪声.

主要方法:

• 制造一个配套的金属氧化物半导体 (CMOS) 兼容的电阻随机访问存储器 (RRAM) 设备.
• 针对可编程状态,编程噪声和对称点精度的RRAM设备的表征.
• 对设备适合实施Tiki-Taka算法的评估.

主要成果:

• 开发的RRAM显示了30多个可编程状态,编程噪声低.
• 该装置展示了一个对称点,与中心仅有5%的斜率.
• 这是首次展示了符合Tiki-Taka所有基本要求的电阻开关装置.

结论:

• 这种新型的CMOS兼容RRAM设备成功地满足了Tiki-Taka算法的严格要求.
• 这些发现使得Tiki-Taka训练可以从小型完全连接的网络推广到更大的神经网络架构,例如长期/短期记忆 (LSTM) 网络.