模拟鱼类自主游泳行为,使用基于科尔摩戈罗夫-阿诺德网络的深度强化学习
Tao Li1,2, Chunze Zhang1, Guibin Zhang1,2
1Southwest Research Institute for Hydraulic and Water Transport Engineering, Chongqing Jiaotong University, Chongqing, People's Republic of China.
Bioinspiration & biomimetics
|January 3, 2025
概括
科尔摩戈罗夫-阿诺德网络 (KANs) 改善了模拟鱼类游泳的深度强化学习. 在复杂的流体环境中,KAN提供了增强的感知和决策,从而提高了性能和更快的学习速度.
科学领域:
- 机器人和人工智能 机器人和人工智能
- 生物模拟学和生物力学
- 计算流体动力学的流体动力学.
背景情况:
- 鱼类的游泳行为和运动对于科学和工程应用至关重要.
- 深度强化学习 (DRL) 与计算流体动力学 (CFD) 结合,模拟了鱼类的适应性游泳.
- 当前的DRL模型在高维,动态环境中面临效率挑战.
研究的目的:
- 研究Kolmogorov-Arnold网络 (KANs) 在增强基于DRL的鱼类游泳模拟中的有效性.
- 解决在近似状态值函数中更高效的网络架构的需求.
- 提高智能代理在复杂的水力动力环境中的感知和决策能力.
主要方法:
- 将KAN集成到现有的计算平台中,模拟鱼类自主游泳.
- 在点对点和卡尔曼步态游泳场景中测试KAN性能.
- 与长短期记忆 (LSTM) 和多层感知器 (MLP) 网络进行比较分析.
主要成果:
- 与LSTM和MLP相比,KAN在复杂的流体环境中显著改善了感知和决策.
- 在点对点游泳中,KAN获得了实质性的平均奖励改善:高达88.0%的MLP和94.1%的LSTM.
- 在卡尔曼步态游泳中,KAN表现得更好:比MLP提高766.7%,比LSTM提高105.6%.
- 在相似的网络大小下,KAN表现出更快的学习能力和更稳定的游泳表现.
结论:
- 在流体动力学和机器人学中,KAN代表了一个有前途的,更高效的网络架构,用于DLR应用.
- 这些发现表明,KAN可以在复杂,不确定的环境中克服传统网络的局限性.
- 这项研究为自主游泳行为的更可概括和更经济的模拟铺平了道路.
