精确和高效的基于事件的语义细分使用自适应的尖端编码器-解码器网络

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 神经形态工程的神经形态工程

背景情况:

• 尖端神经网络 (SNN) 提供低功耗,事件驱动的计算,适用于基于事件的传感器的动态信号.
• 当前的SNN面临培训和架构挑战,与人工神经网络 (ANN) 相比,在密集的预测任务中性能受到限制.

研究的目的:

• 为大规模基于事件的语义细分 (EbSS) 开发一个高效的 Spiking Encoder-Decoder 网络 (SpikingEDN).
• 提高SNN在处理动态事件流中的学习效率,准确性,稀疏性和稳定性.

主要方法:

• 开发了一个高效的Spiking编码器解码器网络 (SpikingEDN).
• 整合了一个自适应值机制,以增强来自动态事件流的学习.
• 引入了一种双路径尖端空间自适应调制 (SSAM) 模块,以改善稀疏事件和多模式输入表示.

主要成果:

• 在DDD17数据集中,SpikingEDN实现了72.57%的平均交叉与联合 (MIoU).
• 在DSEC-Semantic数据集中,SpikingEDN实现了58.32%的平均交叉与结合 (MIoU).
• 与具有显著减少计算资源的最先进的ANN相比,已证明具有竞争力的结果.

结论:

• 开发的SpikingEDN显示了基于事件的语义细分任务的强大潜力.
• 基于事件的视觉应用中,SNN提供了一个有前途的,计算效率高的替代方案.
• 这项研究突出了SNN在处理动态视觉数据方面的尚未开发的能力.