在受限制的博尔茨曼机器上进行数据集无重量初始化
Muneki Yasuda1, Ryosuke Maeno2, Chako Takahashi1
1Graduate School of Science and Engineering, Yamagata University, Jonan 4-3-16, Yonezawa, 992-8510, Yamagata, Japan.
研究人员开发了一种新的无数据集重量初始化方法,用于受限制的博尔兹曼机器 (RBM). 该方法使用统计力学优化初始权重参数,以提高这些概率神经网络的学习效率.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 像LeCun,Xavier和He这样的无数据集重量初始化方法已经为前神经网络建立.
- 目前,对于受限制的博尔兹曼机器 (RBM) 这种方法尚未开发.
研究的目的:
- 为了获得一个新的数据集无重量初始化方法,专门用于伯努利-伯努利RBMs.
- 通过优化重量初始化,提高RBM的学习效率.
主要方法:
- 使用统计机械分析来推导重量初始化方法.
- 权重参数是从零平均值的高斯分布中得出的.
- 标准偏差被优化以最大限度地提高通过统计力学推导的层相关性 (LC).
主要成果:
- 一个新的数据集无重量初始化方法为伯努利-伯努利RBMs成功衍生.
- 该方法涉及从高斯分布中绘制权重,标准偏差优化为最大层相关性.
- 拟议的方法在特定条件下与Xavier初始化保持一致.
结论:
- 开发的重量初始化方法提供了一种有效的方法来初始化RBM,而不需要训练数据.
- 数值实验验证实了该方法在玩具和现实世界数据集上的有效性.
- 这项工作解决了对RBMs的无数据集初始化技术的差距.
更多相关视频
00:10Single-Molecule Tracking Microscopy - A Tool for Determining the Diffusive States of Cytosolic Molecules
Published on: September 5, 2019
09:21Human Brown Adipose Tissue Depots Automatically Segmented by Positron Emission Tomography/Computed Tomography and Registered Magnetic Resonance Images
Published on: February 18, 2015
相关概念视频
Maxwell-Boltzmann Distribution: Problem Solving
This distribution function f(v) is defined by saying that the expected number N (v1,v2) of particles with speeds between v1 and v2 is given by
Atomic Nuclei: Nuclear Spin State Population Distribution
Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
Entropy
Reduced Mass Coordinates: Isolated Two-body Problem
