以发育可塑性为灵感的适应性修剪用于深度尖端和人工神经网络

科学领域:

• 计算神经科学是一种计算神经科学.
• 人工智能的人工智能是人工智能.
• 神经科学是一个神经科学.

背景情况:

• 深层人工神经网络 (ANN) 和尖端神经网络 (SNN) 缺乏由大脑发育可塑性启发的高效压缩方法.
• 目前的方法限制了ANN和SNN在动态环境中高效,快速,准确地学习的能力.

研究的目的:

• 提出一种发育可塑性启发的自适应修剪 (DPAP) 方法,用于优化学习期间的网络结构.
• 通过结合生物现实的机制来提高ANN和SNN的效率,速度和准确性.

主要方法:

• 开发了DPAP方法,灵感来自树突脊柱,突触和神经元修剪的"使用它或失去它,逐渐衰变"原则.
• 综合生物现实的机制:树突性脊柱动态可塑性,活动依赖的神经痕和局部突触可塑性.
• 实施了适应性修剪策略,以实现动态网络优化,无需预培训或再培训.

主要成果:

• 在ANN和SNN的各种基准任务中,DPAP表现出一致而显著的性能和速度提升.
• 实现了显著的网络压缩,从而提高了效率.
• 展示了神经形态数据集中SNN的时空联合修剪的优异结果,达到最先进的 (SOTA) 性能.

结论:

• 发育可塑性可以使复杂的深层网络演变为类似大脑的高效和紧的结构.
• DPAP方法提供了一个生物学上可行的方法来优化深度网络,实现SNN的SOTA性能.
• 这项研究弥合了神经科学和人工智能之间的差距,为更高效和更适应的人工智能系统铺平了道路.