面向NAS的可配置和非层次搜索空间

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 计算机科学 计算机科学

背景情况:

• 神经架构搜索 (NAS) 超越了手动神经网络 (NN) 设计,但通常依赖于刚性,预定义的搜索空间和层次结构.
• 将现有的NAS方法适应新问题是具有挑战性的,并且阻碍了对搜索算法的影响与架构本身的理解.

研究的目的:

• 开发一种更灵活的NAS方法,具有可定制的搜索空间,用于全面的网络探索.
• 在设计神经网络架构时减少对专家知识的依赖.
• 为了使复杂性意识的NAS能够优化性能和模型大小.

主要方法:

• 在连续架构嵌入空间中使用基于高斯过程 (GP) 的贝叶斯优化 (BO).
• 使用Wasserstein自动编码器进行嵌入,通过最大平均差异 (MMD) 处罚来规范.
• 包含一个全输入凸神经网络 (FICNN) 隐藏预测器来估计架构参数数量.

主要成果:

• 嵌入对优化的有效性在最小化参数和最大化零射击精度代理等任务上得到了验证.
• 在CIFAR-10和STL-10数据集上运行了两个复杂性意识的NAS变体,使用不同的搜索空间.
• 该方法成功识别了具有限制模型大小的竞争性神经网络架构.

结论:

• 拟议的NAS方法提供了更大的灵活性,并减少了对专家定义的搜索空间的需求.
• 这种方法促进神经网络架构的高效优化,平衡性能与模型复杂性.
• 这些发现表明了机器学习中自动化,可适应的神经网络设计的潜力.