通过调整泄漏率来提高深回声状态网络的性能,实现多个尺度的动态
Shuichi Inoue1,2, Sou Nobukawa1,3,4,5, Haruhiko Nishimura6
1Graduate School of Information and Computer Science, Chiba Institute of Technology, Narashino, Japan.
Frontiers in artificial intelligence
|July 31, 2024
概括
在深回声状态网络 (Deep-ESN) 中优化泄漏率,通过调整层特定时间尺度来提高预测性能. 这项研究为深度ESN超参数调整提供了指导方针,以改善动态特性.
科学领域:
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
背景情况:
- 深度回声状态网络 (Deep-ESN) 提供了优于传统回声状态网络 (ESN) 的性能,因为它们的多层架构和不同的层特定时间尺度响应.
- 目前对深度ESN的超参数调整方法,如网格搜索和贝叶斯优化,缺乏优化动态特征的具体指导方针.
研究的目的:
- 调查泄漏率超参数与深度ESN每个层的多时间尺度动态响应之间的关系.
- 建立基于动态特征的Deep-ESN超参数优化的指导方针.
主要方法:
- 采用多尺度 (MSCE) 分析来评估各种泄漏率对深ESN每个层内的动态的影响.
- 进行了逐层的交叉相关性分析,以了解有助于提高性能的结构机制.
主要成果:
- 确定了一个最佳的,特定任务的泄漏率,这有助于层特定的多时间尺度响应.
- 发现具有层到层信号传输延迟的队列结构可以改善过去输入的保留,从而提高预测性能.
结论:
- 这项研究为建立深度ESN超参数的设计准则提供了基础.
- 调整泄漏率对于优化深度ESN的时间动态和预测准确度至关重要.
