RBFleX-NAS:使用辐射基函数内核和超参数检测进行无训练的神经架构搜索
概括
RBFleX-NAS是一种新的无训练的神经架构搜索 (NAS) 方法,使用辐射基函数内核准确预测网络性能. 它在激活功能探索方面表现出色,并且在减少搜索时间的情况下实现了卓越的准确性.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 计算机科学 计算机科学
背景情况:
- 神经架构搜索 (NAS) 自动化了神经网络设计,但传统上需要广泛的培训.
- 没有培训的NAS方法可以加速评估,但在性能预测和激活功能探索方面往往缺乏精度.
- 现有的方法很难准确地区分出表现良好和表现不佳的网络,从而导致低于最佳的结果.
研究的目的:
- 引入RBFleX-NAS,这是一个新的无培训NAS框架,旨在克服当前方法的局限性.
- 提高性能预测的准确性,提高NAS激活函数探索的有效性.
- 为了减少NAS所需的搜索时间和计算资源.
主要方法:
- 建议使用RBFleX-NAS,这是一个无训练的NAS框架,使用辐射基函数 (RBF) 内核.
- 将最后一层的激活输出和输入功能纳入搜索过程中.
- 介绍了一种检测算法,用于使用激活输出和特征图识别最佳超参数.
主要成果:
- 在NAS-Bench-201和NAS-Bench-SSS上,RBFleX-NAS在最高精度上显著超过了最先进的无训练NAS方法.
- 在显著短的搜索时间内实现高精度.
- 与基于层的无训练NAS算法相比,证明了优越的肯德尔相关性.
- 在新的NAFBee基准中成功确定了表现最佳的网络,在激活功能搜索中表现出色.
结论:
- RBFleX-NAS为无训练的神经架构搜索提供了更准确,更有效的方法.
- 该框架有效地解决了性能预测和激活功能探索方面的局限性.
- RBFleX-NAS为优化神经网络架构提供了显著的优势,特别是在复杂的搜索空间.
