在memristor交叉杆上实现大型语言模型的节能部署:大和小的协同作用

科学领域:

• 人工智能的人工智能
• 计算机工程 计算机工程
• 材料科学 材料科学 材料科学

背景情况:

• 大型语言模型 (LLM) 提供了巨大的潜力,但需要巨大的计算资源.
• 记忆器横杆提供高密度和能源效率,适合人工智能加速.
• 现有的memristor技术面临着LLM大小,非重量静止操作和非线性函数的挑战.

研究的目的:

• 为高效的LLM部署提出一个新的memristor交叉架构.
• 克服当前的memristor技术在处理LLM复杂性的局限性.
• 为了实现芯片上的LLM处理,减少能源和时间的低效率.

主要方法:

• 设计了一个新的memristor交叉杆架构,为LLMs量身定制.
• 综合支持非重量静止乘法和非线性运算.
• 在BERT模型上测试了架构,以评估性能和准确性.

主要成果:

• 在单个芯片或包上实现了最先进的LLM的部署.
• 在BERT模型上显示了微不足道的准确性损失.
• 与传统的memristor横杆相比,报告了空头面积和能源消耗的显著改善.
• 与TPU/GPU系统相比,面积延迟产品和能源消耗显著减少.

结论:

• 拟议的memristor交叉杆架构有效地解决了部署LLMs的关键挑战.
• 这一创新使得大型人工智能模型的芯片上处理非常高效.
• 该架构为下一代AI硬件加速提供了一个有前途的途径.