使用芯片上的衍射光学进行多模式深度学习,并具有现场培训能力
Junwei Cheng1, Chaoran Huang2, Jialong Zhang1
1Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology, Wuhan, 430074, China.
Nature communications
|July 23, 2024
概括
这项研究引入了一个可训练的衍射光学神经网络 (TDONN) 芯片,用于多式模式深度学习. 新型光子芯片高效处理各种数据类型,在视觉,音频和触摸分类方面实现高精度.
科学领域:
- 光子学 是一个光子学.
- 人工智能的人工智能
- 神经形态计算是一种神经形态计算.
背景情况:
- 多模式深度学习对于人工智能产生的内容 (AIGC) 至关重要,但现有的光子处理器由于训练限制而难以处理各种数据类型.
- 当前的光学神经形态处理器通常仅限于单个数据模式 (例如视觉或音频).
研究的目的:
- 提出和演示可训练衍射光学神经网络 (TDONN) 芯片,能够处理多式联网数据.
- 克服光子深度学习中单模处理的局限性.
主要方法:
- 开发了一种TDONN芯片,该芯片上具有具有众多可调节元件的折射光学.
- 实现定制的随机梯度下降算法和用于现场训练和快速光学融合的脱落机制.
- 单一向前传播用于推断,最大限度地减少光电转换.
主要成果:
- TDONN芯片表现出高性能,其潜在吞吐量为每秒217.6 tera-operations (TOPS),计算密度为447.7 TOPS/mm2,能效为7.28 TOPS/W,光学延迟低至30.2 ps.
- 在视觉,音频和触摸模式的四类分类任务中成功实现了85.7%的准确性.
- 该芯片集成了输入,五个隐藏和输出层,以实现高效的深度学习操作.
结论:
- 开发的TDONN芯片为使用集成光子处理器的多式联络深度学习提供了一种新的方法.
- 这项技术为低功耗人工智能 (AI) 大型模型提供了潜在的解决方案.
- 开辟了先进的人工智能应用的新途径,利用光子技术的能力.
