重新思考基于细胞的神经架构的搜索:一个理论观点

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 基于细胞的神经架构搜索 (NAS) 是深度学习的一个关键领域.
• 了解NAS搜索空间的理论基础对于开发高效的算法至关重要.
• 现有的NAS方法通常依赖于经验评估,没有深层次的理论保证.

研究的目的:

• 从理论上分析NAS搜索空间中不同架构的重要性.
• 为了确定一个单独识别的最佳细胞是否在堆叠时仍然是最佳的.
• 为基于细胞的NAS范式提供理论上的理由.

主要方法:

• 将细胞架构建成有向的非循环图 (DAG),具有干路径和绕过边缘.
• 证明关于添加跳过连接和可学习操作来绕过边缘的影响的理论性质.
• 分析基于贪的绕道边缘加值的细胞堆的最佳性.
• 使用NAS-BENCH-201数据集经验验证理论发现.

主要成果:

• 在单个单元中添加跳过连接或可学习操作来绕过边缘,通常会减少或维持训练损失.
• 具有特定权重的某些架构显示可学习操作的性能比跳过连接要差.
• 一个贪地构建的最佳细胞结构保证了细胞相同时的最佳细胞堆.
• 网络大小和非绑定的细胞结构会影响堆叠细胞的最佳性.

结论:

• 理论分析支持基于细胞的NAS范式,通过展示贪地构建的细胞在堆中的最佳性.
• 细胞的最佳性取决于上下文,尤其是在考虑超出最小训练损失的因素时.
• 对灵活的细胞堆叠策略进行进一步的研究是有必要的,以提高性能.