首席:在具有异质FPGA的集群上部署异质模型的框架.
Yue Tang1, Yukai Song1, Naveena Elango2
1Department of Electrical and Computer Engineering, University of Pittsburgh, Pittsburgh, PA 15261, USA.
概括
CHEF有效地将复杂的多模式多任务深度神经网络 (MMMT DNNs) 映射到异构的FPGA集群中. 这种方法显著减少了先进AI硬件部署的延迟和搜索时间.
科学领域:
- 人工智能的人工智能
- 计算机工程 计算机工程
- 硬件加速器 硬件加速器
背景情况:
- 深度神经网络 (DNN) 正在从单模单任务 (SMST) 演变为复杂的多模多任务 (MMMT) 架构.
- 不同质的硬件系统,特别是使用FPGA的系统,越来越多地被采用来满足先进DNN的需求.
- 目前用于将DNN映射到异质FPGA上的现有方法与MMMT模型的复杂性和规模相斗争.
研究的目的:
- 开发一个有效的系统,在异质FPGA集群上实施MMMT模型.
- 解决在现实的硬件环境中部署多种加速器和绘制复杂DNN的挑战.
- 提出一个新的框架,优化硬件部署和加速器映射.
主要方法:
- 引入了CHEF,一个框架,包括CHEF-A2F用于加速器到FPGA的部署和CHEF-M2A用于DNN到加速器的映射.
- 对于硬件部署和加速器映射,CHEF-A2F采用了两阶段的协同优化方法.
- CHEF-M2A旨在处理一般和实际的MMMT模型映射场景.
主要成果:
- 展示了MMMT模型在真实异质FPGA集群上的首次实现.
- 实现了MMMT模型执行的近最佳延迟.
- 与详尽的搜索方法相比,搜索时间减少了1万倍.
结论:
- CHEF为在异质FPGA上部署复杂的MMMT DNN提供了一种高效和实用的解决方案.
- 该框架显著提升了大型AI模型硬件加速的最新技术.
- 这项工作为专用硬件平台上的更复杂的人工智能应用铺平了道路.


