持续学习的统计力学:变化原理和平均场潜力
Chan Li1, Zhenye Huang2, Wenxuan Zou1
1PMI Lab, School of Physics, Sun Yat-sen University, Guangzhou 510275, People's Republic of China.
本研究介绍了使用变量贝叶斯方法在二元神经网络中持续学习的统一理论. 这种基于物理学的新框架提高了多任务学习的性能,并为深度网络提供了一个原则性的方法.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 计算神经科学是一种神经科学.
- 统计物理 统计物理
背景情况:
- 人工通用智能 (AGI) 中的持续学习面临着由于任务的多样性而带来的挑战.
- 现有的启发式方法缺乏统一的理论基础.
- 对于传统的学习算法来说,二进制神经网络带来了独特的困难.
研究的目的:
- 开发一个统一的理论框架,用于单层和多层二元神经网络的持续学习.
- 将权重不确定性纳入并调节跨任务的突触资源.
- 在深度网络中提供多任务学习的原则方法.
主要方法:
- 提出了一个变化的贝叶斯式学习设置,在场空间中运行,而不是离散重量空间.
- 该框架转化为弗朗茨-帕里西热力学潜力,利用以前的任务知识作为先验.
- 平均场顺序参数用于分析研究,通过随机梯度下降模拟验证.
主要成果:
- 拟议的变量持续学习框架成功地解决了二进制神经网络中的持续学习问题.
- 该方法自然包含重量不确定性,有效调节突触资源.
- 性能超过现有的超塑性算法,特别是在多层网络中.
结论:
- 开发的以物理学为灵感的框架为二元神经网络中持续学习提供了理论上有基础的解决方案.
- 这种方法提供了一个统一的视角,连接到弹性重量巩固和重量不确定性调制学习.
- 这些发现为在深度神经网络中更强大,更有效的多任务学习铺平了道路.
更多相关视频
08:05Measuring Statistical Learning Across Modalities and Domains in School-Aged Children Via an Online Platform and Neuroimaging Techniques
Published on: June 30, 2020
09:17Structure-Based Simulation and Sampling of Transcription Factor Protein Movements along DNA from Atomic-Scale Stepping to Coarse-Grained Diffusion
Published on: March 1, 2022
相关概念视频
First Law: Particles in One-dimensional Equilibrium
First Law: Particles in Two-dimensional Equilibrium
Newton's first law tells us about...
Continuous Charge Distributions
The electric charge can also be subjected to an analogical...
Potential-Energy Criterion for Equilibrium
Principle of Linear Impulse and Momentum for a System of Particles
Notably, internal forces between particles, occurring in equal and opposite collinear pairs, cancel out and are not part of the equation of motion. This exclusion simplifies the...
Force and Potential Energy in One Dimension
