向更少受约束的宏观神经架构搜索

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 计算机视觉 计算机视觉

背景情况:

• 神经架构搜索 (NAS) 方法通常依赖于人类定义的约束,限制了对新型网络架构的探索.
• 现有的NAS方法通常专注于基于单元的搜索空间,限制整个网络结构的设计 (宏观搜索).

研究的目的:

• 为更广泛的建筑探索引入更少受约束的宏观神经架构搜索 (LCMNAS).
• 开发一种NAS方法,在没有预定义的启发式或边界搜索空间的情况下执行宏观搜索.
• 为了实现最先进的性能,降低计算成本.

主要方法:

• LCMNAS使用加权定向图 (WDGs) 来自主生成复杂的,不那么受限制的搜索空间,由现有架构提供信息.
• 一个进化的搜索策略从头开始生成完整的架构.
• 混合性能估计方法将初始架构信息与低准确度估计相结合,以预测性能.

主要成果:

• 在14个不同的数据集中,LCMNAS成功生成了基于细胞和基于宏的架构.
• 该方法以最小的GPU计算实现了最先进的结果.
• 广泛的研究证实了LCMNAS组件在细胞和宏观搜索设置中的有效性.

结论:

• 通过实现不受约束的宏观搜索,LCMNAS显著提升了NAS,从而导致了新的高性能神经网络架构.
• 提出的方法提供了一种高效和自动化的方法来发现复杂的架构,优于人类设计的网络.