时间局部注意力与自适应解码:增强用于时间计算应用程序的尖端神经网络
Hanxiao Fan1, Hanle Zheng1, Zikai Wang2
1Center for Brain-Inspired Computing Research, Department of Precision Instrument, Tsinghua University, Beijing, 100084, China.
概括
尖端神经网络 (SNN) 难以处理长序列. 时间局部注意力 (TLA) 和自适应解码 (AD) 增强SNN的时间计算,提高性能和训练速度.
科学领域:
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
背景情况:
- 尖端神经网络 (SNN) 提供了复杂的学习和时间计算的潜力,因为它们受到大脑启发的动态和能源效率.
- 然而,SNN在长序渐变传播方面面临着挑战,这限制了它们在捕获时间特征方面的有效性.
研究的目的:
- 引入新的机制,以提高SNN在时间计算任务中的性能.
- 解决SNN训练和推理方面的局限性,特别是关于长序列和梯度传播.
主要方法:
- 引入时间局部注意 (TLA) 以减少序列长度和改善梯度流.
- 纳入自适应解码 (AD) 以基于性能相关性优化SNN输出.
- 整合TLA和AD (TLA-AD) 进行全面的SNN建模和培训.
主要成果:
- TLA-AD方法显著提高了SNN的性能,并且在不增加参数数量的情况下加速了训练.
- 在DEAP数据集上实现了最先进的准确性 (93.52%的价值,93.41%的唤起).
- 与其他SNN方法相比,在SEED (87.41%) 和IMDB (86.31%) 数据集上表现出具有竞争力的准确性.
结论:
- 在时间计算中,TLA-AD为SNN提供了有效的优化策略.
- 提出的方法克服了SNN培训和绩效的关键局限性.
- 这项工作为在时间序列数据分析中更先进,更高效的SNN应用铺平了道路.


