纳科斯:神经架构 搜索硬件受限制的早期退出神经网络
概括
本研究介绍了NACHOS,这是一种用于设计高效早期退出神经网络 (EENNs) 的新型神经架构搜索框架. NACHOS自动化了EENN的联合设计,在硬件限制下优化了准确性和计算效率.
科学领域:
- 人工智能的人工智能
- 计算机科学 计算机科学
背景情况:
- 早期退出神经网络 (EENNs) 通过在中间阶段进行预测来提供效率和有效性.
- 手动设计EENN是复杂的,耗时的,并且需要专家知识来实现最佳配置.
- 使用神经架构搜索 (NAS) 自动化EENN设计是一个活跃的研究领域.
研究的目的:
- 介绍NACHOS,这是第一个用于设计硬件限制的EENN的NAS框架.
- 为了实现EENN骨干和早期退出分类器 (EEC) 的联合优化.
- 为了满足准确性和多重积累 (MAC) 操作的限制.
主要方法:
- 开发了NACHOS,这是一个NAS框架,用于联合骨干和EEC设计.
- 将硬件约束 (准确性和MAC操作) 纳入搜索过程中.
- 确定了帕雷托最佳EENN解决方案,平衡精度和计算成本.
主要成果:
- 纳科斯成功地设计了与最先进的模型相匹配的EENN.
- 该框架提供了一组可接受的帕雷托最佳解决方案.
- 研究了辅助分类器的新型规范化技术.
结论:
- NACHOS提供了一种完全自动化的方法来设计高效的EENNs.
- 该框架有效平衡硬件部署的准确性和计算效率.
- 未来的工作包括进一步探索EENN优化规范化策略.
