通过神经架构搜索,高效的尖端神经网络设计

科学领域:

• 人工智能的人工智能
• 计算神经科学是一种神经科学.
• 机器学习 机器学习

背景情况:

• 尖端神经网络 (SNN) 通过脑启发的稀疏,事件驱动的通信提供能源效率.
• 对SNN架构的手动设计是劳动密集型的,容易出现错误,阻碍了性能.
• 自动机器学习,特别是神经架构搜索 (NAS),已经推进了深度学习,但在SNN方面面临挑战.

研究的目的:

• 为高效的SNNs开发一个自动化的尖端神经架构搜索 (NAS) 方法.
• 为了解决通常与NAS相关的SNN长时间搜索问题.
• 在预算限制范围内优化SNNs,以实现高精度和计算效率.

主要方法:

• 提出了一种新的NAS方法,在无分支的尖端超级网络中编码候选SNN架构,以减少计算负载.
• 引入了Synaptic Operation (SynOps) 意识到的优化,以识别超级网络中计算高效的子空间.
• 通过实验验证该方法,评估搜索效率,准确性和计算成本.

主要成果:

• 与现有方法相比,拟议的NAS方法显著减少了搜索时间.
• 发现的SNN显示出比最先进的SNN更高的准确性和更低的计算成本.
• 实验验证证证实了搜索过程的有效性和准确度计算成本的权衡.

结论:

• 自动化NAS可以有效地发现高效的SNN架构,克服手动设计的局限性.
• 无分支超级网络和SynOps意识的优化是有效的SNN架构发现的关键.
• 这种方法可以开发高性能,高能效的SNNs,用于现实应用.