通过随机梯度下降来学习光滑的树形态神经元,用于模式分类
Wilfrido Gómez-Flores1, Humberto Sossa2
1Centro de Investigación y de Estudios Avanzados del IPN, Unidad Tamaulipas, Parque TECNOTAM, ZIP 87130, Ciudad Victoria, Tamaulipas, Mexico.
概括
这项研究引入了使用随机梯度下降 (SGD) 的树突形态神经元 (DMN) 的新学习算法. 改进的DMN模型提高了模式分类性能,为现有方法提供了有竞争力的替代方案.
科学领域:
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 树形态神经元 (DMN) 传统上使用两阶段的学习过程.
- 现有的DMN学习方法缺乏树突位置和重量调整之间的反.
- 这种限制阻碍了最佳的分类性能.
研究的目的:
- 开发使用随机梯度下降 (SGD) 的DMN集成学习算法.
- 为了实现反,同时调整树中心体和输出层重量.
- 为了提高DMN模型的分类准确度.
主要方法:
- 导出了调整状中心体和输出层重量的三角形规则.
- 在SGD方案下最小化交叉损失函数.
- 使用可微分的平滑最大激活函数来实现基于梯度的学习.
主要成果:
- 提出的基于SGD的DMN学习算法与其他8个DMN模型和4个标准分类器 (SVM,MLP,RF,k-NN) 相比较.
- 在81个不同的数据集中评估了性能.
- 与现有的DMN和标准分类器相比,提出的方法显示出更优异或更具竞争力的结果.
结论:
- 综合的SGD学习方法有效地提高了DMN分类性能.
- 这种方法为DMN提供了一个标准化的学习框架,类似于当前的人工神经网络.
- 拟议的DMN是模式分类任务的可行和有效的替代方案.


