深度神经网络的层次训练使用早期退出
概括
这项研究引入了深度神经网络 (DNN) 的新层次训练方法,将训练分为边缘和云设备. 这种方法大大减少了DNN的培训时间和通信成本,而不会牺牲准确性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 深度神经网络 (DNN) 在视觉任务中实现了高精度,但需要大量的计算资源进行培训.
- 在远程云服务器上训练DNN会导致高通讯成本,延长运行时间和隐私风险,原因是边缘设备的数据传输.
- 现有的方法难以同时进行层次训练或损害数据隐私.
研究的目的:
- 为DNN提出一种新的分层训练方法,以减轻通信成本,训练运行时间和隐私问题.
- 实现跨边缘和云工作者的同时培训,而无需共享原始输入数据.
- 在DNN培训期间,利用早期退出来进行分割的向后通行.
主要方法:
- 引入了一个层次化的培训框架,将DNN架构分为边缘和云.
- 早期的出口被用来划分向后通道,使边缘和云之间的并行处理成为可能.
- 该方法通过不将原始数据传输到云端来确保原始数据的隐私,并消除了反向传输期间的通信.
主要成果:
- 拟议的方法显示,在CIFAR-10和Tiny ImageNet数据集上,对VGG-16 (29-25%) 和ResNet-18 (61-81%) 的培训运行时间显著减少.
- 这些运行时间改进是在低比特率通道上实现的,对模型准确度的影响微不足道.
- 模拟和设备实验验证了各种DNN架构的有效性.
结论:
- 这种新的层次训练方法为在边缘云系统中的资源受限边缘设备上训练高精度DNN提供了有效的解决方案.
- 这种方法提高了边缘设备在线学习的灵活性,使其能够适应新的任务和数据类.
- 该方法解决了分布式DNN培训中的关键挑战,提高了效率和隐私.
