多个时间尺度的时空特征在尖端神经网络中的集成
Dengfeng Xue1, Wenjuan Li2, Chunfeng Yuan3
1School of Computer Science and Technology, Xidian University, Xi'an, Shaanxi, 710119, China.
概括
这项研究引入了一个新的神经网络 (SNN) 模块,它集成了多时尺度的时空特征,显著提高了动态视觉传感器数据和各种图像数据集的性能.
科学领域:
- 神经形态工程
- 人工智能
- 计算机视觉
背景情况:
- 动态视觉传感器 (DVS) 以高分辨率捕获时间信息.
- 尖端神经网络 (SNN) 处理事件流,但往往忽视空间依赖.
- 现有的SNN很难从DVS数据中提取复杂的时空特征.
研究的目的:
- 为SNN提出一种新的插入式模块,以增强时空特征提取.
- 提高SNN在处理DVS数据时的代表性能力.
- 解决当前SNN在处理空间信息和复杂时间动态方面的局限性.
主要方法:
- 介绍多时间尺度空间时间特征集成 (MSFI) 模块.
- 多元空间模块包括短期空间时间模块 (SSM) 和长期空间时间模块 (LSM).
- 抽取的时空特征与SNN内部的原始尖特征的融合.
主要成果:
- 拟议的MSFI模块显著提高了SNN的性能.
- 在神经形态数据集 (CIFAR10-DVS,DVS128手势,DVS128步态) 上有明显的改善.
- 与基线相比,在静态数据集 (CIFAR10/100,ImageNet) 上取得了优异的结果.
结论:
- 该MSFI模块有效地提取和整合多个时间尺度的时空特征.
- 通过MSFI,SNN能够处理来自DVS和静态图像源的复杂数据.
- 拟议的方法为视觉任务的SNN能力提供了显著的进步.


