空间变化的纳米光子神经网络

科学领域:

• 光子学 是一个光子学.
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 人工智能 (AI) 的不断升级的计算和能源需求需要探索超越传统电子处理器的新型计算范式.
• 使用光子而不是电子的光子处理器为光学神经网络 (ONN) 提供了潜力,其延迟和功耗大大降低.
• 与当代电子神经网络相比,当前的ONN在识别准确性方面面临限制,这是由于设计约束.

研究的目的:

• 为了弥合现有的光学神经网络和现代电子神经网络之间的精度差距.
• 开发一个AI系统,在图像捕捉过程中直接在相机光学中执行神经网络计算.
• 推进ONN在实际深度学习应用中的能力.

主要方法:

• 在平面相机光学中嵌入并行光学计算,在传感器记录之前执行计算.
• 使用大型内核和空间变化的卷积网络,通过低维重定格化学习.
• 在相机镜头中实例化网络,使用具有视角依赖光学响应的纳米光子阵列.

主要成果:

• 在使用可重新配置纳米光子神经网络的CIFAR-10数据集上实现了72.76%的准确性.
• 使用轻量级的电子后端,使用大约2K参数,表现出超越AlexNet (72.64%) 的性能.
• 通过相机光学成功将神经网络计算集成到图像捕捉过程中.

结论:

• 开发的纳米光子神经网络集成到相机光学中,代表了光学计算的重大进步.
• 这种方法有效地将光学神经网络带入深度学习时代,提供了具有竞争力的精度,降低了能源消耗.
• 该研究强调了摄像头内光学计算对未来人工智能硬件的潜力.