相关实验视频
无监督神经网络的"觉醒睡眠"算法
G E Hinton1, P Dayan, B J Frey
1Department of Computer Science, University of Toronto, Ontario, Canada.
Science (New York, N.Y.)
|May 26, 1995
概括
本研究介绍了对随机神经网络的无监督学习算法. 它使用不同的"觉醒"和"睡眠"阶段来训练识别和生成连接,以改进数据表示和重建.
科学领域:
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 人工神经网络通常需要大型标记数据集进行训练.
- 无监督学习方法旨在从未标记的数据中学习表示.
- 生物大脑中的等级处理启发了分层网络架构.
研究的目的:
- 描述多层随机神经网络的新型无监督学习算法.
- 为了使网络能够学习表示和重建数据而没有明确的标签.
- 研究神经计算中识别和生成过程之间的相互作用.
主要方法:
- 为多层静态神经元网络开发无监督学习算法.
- 为输入到表示映射实现自下而上的"识别"连接.
- 实施自上而下的"生成"连接,用于表示到重建的映射.
- 两个不同的阶段:"觉醒"阶段 (识别驱动) 和"睡眠"阶段 (生成驱动).
- 调整连接权重以提高正确活动向量的重建和生产的概率.
主要成果:
- 该算法成功地在多层网络中训练了识别和生成连接.
- "觉醒"阶段优化生成连接,以准确的自下而上的重建.
- "睡眠"阶段优化了识别连接,以实现精确的自上而下的生产.
- 这种双相方法允许对等级表示进行无监督的学习.
结论:
- 提出的无监督学习算法有效地训练了随机神经网络.
- "觉醒-睡眠"机制有助于学习特征提取和数据生成.
- 这种方法为开发更具生物可信性和高效的AI系统提供了有前途的方法.