帕特纳斯:一个基于路径的免费训练的神经架构搜索

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 由于需要广泛的网络架构评估,神经架构搜索 (NAS) 在计算上昂贵.
• 零成本代理提供了一个解决方案,通过在早期培训阶段快速估计最终的网络性能.
• 现有的代理有局限性,经常忽视网络结构或任务特异性.

研究的目的:

• 为了引入一种新的零成本代理,Skeleton Path Kernel Trace (SPKT),用于神经架构搜索.
• 通过结合网络骨架路径结构信息来解决当前代理的局限性.
• 提高NAS框架的效率和有效性.

主要方法:

• 提出了骨架路径内核跟踪 (SPKT) 的零成本代理,利用网络骨架路径结构.
• 将SPKT集成到NAS的PATNAS贝叶斯优化框架中.
• 评估了SPKT在各种数据集和任务中的有效性.

主要成果:

• SPKT与评估的网络架构的最终性能有很高的相关性.
• 拟议的SPKT代理显著加快了NAS搜索过程.
• SPKT在多个任务中被证明是有效的,克服了以前方法的局限性.

结论:

• SPKT是神经架构搜索的有效零成本代理,捕获关键的结构信息.
• 在PATNAS中集成SPKT大大提高了NAS的效率.
• 这种方法为减少设计高性能神经网络的计算负担提供了一个有希望的方向.