Bi-PIL:为多层神经网络提供双向无梯度学习方案.
概括
这项研究引入了一种用于深度神经网络的新型无梯度学习方案,简化了架构设计和培训. 该方法使用双向训练 (BT) 与伪反向学习 (PIL) 进行高效的,数据驱动的网络构建.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 传统的深度神经网络训练依赖于梯度下降,这是耗时的.
- 设计复杂的神经网络架构通常是当前方法难以处理的.
研究的目的:
- 探索一种高效的无梯度学习方案,用于构建多层神经网络.
- 为自动神经网络架构设计提供潜在的解决方案.
主要方法:
- 拟议方案采用双向培训 (BT) 过程,包括前向和后向培训 (FT).
- 伪反向学习 (PIL) 算法在FT期间以贪,数据驱动的方式逐层训练网络.
- 网络架构和FT的权重在无梯度的倒向过程中用于更新权重.
主要成果:
- 经过双向学习,可以获得一个由两个双胞胎子网络组成的神经网络.
- 来自子网络的融合特征作为下游任务的输入.
- 实验证明了拟议的学习方案的有效性和优越性.
结论:
- 拟议的无梯度学习方案有效地构建多层神经网络.
- 这种方法简化了建筑设计,与梯度下降相比,加速了培训.
- 由此产生的双子子网络为各种下游应用提供了有利的融合特征.


