高效增强学习与混合架构光子集成电路的混合架构
Xuan-Kun Li1,2, Jian-Xu Ma3, Xiang-Yu Li3
1Center for Integrated Quantum Information Technologies (IQIT), School of Physics and Astronomy and State Key Laboratory of Advanced Optical Communication Systems and Networks, Shanghai Jiao Tong University, Shanghai, 200240, China.
Nature communications
|February 5, 2024
概括
本研究引入了一种光子集成电路 (PIC) 框架,以加快强化学习 (RL) 模拟,显著提高材料合成等复杂任务的效率.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 光子学 是一个光子学.
背景情况:
- 强化学习 (RL) 是一个具有广泛应用的关键机器学习范式.
- 对于RL模拟的传统计算需要大量的资源,从而限制了效率.
- 开发通用学习系统需要克服计算瓶.
研究的目的:
- 提出使用光子集成电路 (PIC) 进行高效的RL模拟的通用框架.
- 为了提高强化学习算法的计算效率.
- 在复杂的科学任务中展示基于 PIC 的 RL 的应用.
主要方法:
- 开发了一种混合架构PIC,用于芯片上的光学相互作用计算.
- 使用链路校准来确保高平行度和精度.
- 类似性信息被整合到RL奖励函数中,用于矿合成任务.
主要成果:
- 该PIC-RL框架成功模拟了3472维状态空间中的相互作用.
- 在矿材料合成任务中,计算效率提高了56%.
- 该研究验证了PIC在加速复杂RL算法的有效性.
结论:
- 在PIC平台上模拟RL交互可以显著提高计算能力.
- 这种方法对大规模和复杂的强化学习应用有很大的潜力.
- 光子加速是推动人工智能和机器学习的一个有希望的方向.
