训练大规模的光电子神经网络,使用双神经元光学-人工学习
Xiaoyun Yuan1,2,3, Yong Wang1, Zhihao Xu1,4
1Department of Electronic Engineering, Tsinghua University, Beijing, China.
Nature communications
|November 5, 2023
概括
研究人员开发了DANTE,这是一种新的双神经元架构,用于训练大规模光电子神经网络 (ONN). 这一创新显著加速了培训,并使得人工智能计算以前不可能实现的网络大小.
科学领域:
- 人工智能的人工智能
- 光电学是指光电子产品.
- 计算科学 计算科学
背景情况:
- 光电子神经网络 (ONN) 为高性能AI计算提供了潜力.
- 衍射神经网络是有希望的,但由于计算成本而面临培训挑战.
- 在大型网络中建模光学衍射是计算密集的.
研究的目的:
- 引入DANTE,一种双神经元架构,用于高效地训练大规模的ONN.
- 克服传统衍射网络训练的计算和内存限制.
- 增强光学人工学习中的融合速度和可扩展性.
主要方法:
- 开发了DANTE,一种混合架构,具有光学神经元用于衍射和人工神经元用于近似.
- 实施了代的全球人工学习和本地光学学习步骤,以改善融合.
- 在ImageNet和CIFAR-10数据集上使用模拟实验.
主要成果:
- 在ImageNet上成功训练了大规模的ONN,拥有1.5亿个神经元,这是以前无法实现的规模.
- 与单个神经元方法相比,在CIFAR-10基准上实现了训练速度的显著加速.
- 展示了基于DANTE的双层物理ONN系统,用于有效的特征提取.
结论:
- 丹特为训练大规模光电子神经网络提供了可扩展和高效的解决方案.
- 双神经元方法有效地平衡了光学衍射建模与计算近似.
- 物理实现显示了DANTE在现实世界图像分类任务中的能力.


