关于神经架构搜索和超参数优化:基于最大流量的方法

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 计算机科学 计算机科学

背景情况:

• 自动机器学习 (AutoML) 简化了针对特定任务的模型创建.
• 关键的AutoML组件包括用于模型设计的神经架构搜索 (NAS) 和用于培训的超参数优化 (HPO).
• 有效的搜索算法对于基于历史数据推最佳配置至关重要.

研究的目的:

• 为AutoML.提供一种基于最大流量的新型搜索算法.
• 开发新的AutoML策略,MF-NAS和MF-HPO,通过将NAS和HPO作为基于图的最大流量问题.
• 用图形表示和管理搜索空间和战略.

主要方法:

• 在图表上将NAS和HPO表示为最大流量问题.
• MF-NAS使用平行边缘,具有用于卷积和聚合等操作的能力.
• MF-HPO将平行边缘视为组合搜索空间内的间隔,并交替更新权重和容量.

主要成果:

• 在实验评估中,MF-NAS和MF-HPO证明了具有竞争力的有效性和效率.
• 拟议的策略有效地处理NAS和HPO的复杂搜索空间.
• 通过NAS的半同步搜索模式和HPO的升温方案,进一步提高了效率.

结论:

• 基于最大流量的算法为AutoML提供了一种新且有效的方法.
• MF-NAS和MF-HPO为优化模型构建和培训提供了一个图形框架.
• 提出的方法推进了高效和有效的自动化机器学习领域.