神经架构搜索应用最佳停止理论
Matthew Sheehan1, Oleg Yakimenko1
1Department of Systems Engineering, Naval Postgraduate School, Monterey, CA, United States.
Frontiers in artificial intelligence
|October 9, 2025
概括
探索神经架构搜索 (NAS) 在计算上很昂贵. 这项研究将Secretary Problem (SP) 应用于NAS,发现探索大约37%的搜索空间是有效地发现有效的神经架构的最佳方法.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 计算机科学 计算机科学
背景情况:
- 神经架构搜索 (NAS) 需要大量的计算资源,限制了许多研究人员的可访问性.
- 早期停止随机搜索方法在NAS中显示出竞争性表现.
- 探索大型NAS搜索空间的不切实际性需要有效的搜索策略.
研究的目的:
- 为了确定NAS搜索空间的最佳探索百分比,以实现高效的架构发现.
- 将最佳停止理论,特别是秘书问题 (SP) 应用于NAS.
- 调查SP的变体,以进一步减少NAS搜索空间探索.
主要方法:
- 将Secretary Problem (SP) 及其扩展 ("足够好"",回调") 应用于NAS.
- 在MNIST和CIFAR-10数据集上训练和评估了2万次运行中的672个独特架构.
- 关于NAS群体的统计验证发现,范围从100到3,500个架构.
主要成果:
- 从实证和理论上证实,探索NAS搜索空间的37%足以进行可接受的架构发现.
- "足够好"和"召回"SP变种将勘探减少到分别为15%和4%左右.
- 在各种人群大小和众多运行中,结果在统计学上是稳定的.
结论:
- 研究人员可以通过使用SP原则探索大约37%的搜索空间来平衡计算成本和NAS有效性.
- SP变体进一步减少了NAS的计算要求.
- 为实施高效的NAS策略提供实际指导.
