亚特纳斯:神经架构搜索的自动终止
Kotaro Sakamoto1, Hideaki Ishibashi2, Rei Sato3
1The Institute of Statistical Mathematics, 10-3 Midori-cho, Tachikawa, Tokyo 190-0014, Japan.
概括
本研究介绍了神经架构搜索 (NAS) 的原则性早期停止标准. 该方法通过评估概括错误差距来降低搜索成本并保持高性能,提高一次性NAS效率.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 神经架构搜索 (NAS) 自动化了神经网络设计.
- 一次性NAS方法降低了搜索成本,但面临成本-性能权衡.
- 微分架构搜索 (DARTS) 容易过度拟合,需要有效的早期停止策略.
研究的目的:
- 为一次性NAS提出一个通用且有原则的早期停止标准.
- 为了降低与NAS相关的高计算成本.
- 为了减轻NAS过造成的性能下降.
主要方法:
- 开发了一个早期停止标准,该标准基于连续搜索步骤预期的概括错误之间的差距.
- 提议自动,免费地确定每个时代的停止值.
- 应用了停止一次性NAS算法的标准.
主要成果:
- 在数值实验中证明了提议的早期停止方法的有效性.
- 降低了一次性NAS算法的搜索成本.
- 在NAS-Bench-201和NATS-Bench数据集上保持获取架构的高性能.
结论:
- 提议的早期停止标准提供了一种原则性的方法来优化NAS.
- 在NAS中有效降低成本是可以在不影响性能的情况下实现的.
- 该方法为提高一次性NAS的效率提供了一种多功能解决方案.
