使用基于模型的模拟器和强化学习来控制磁性手术机器人
Yotam Barnoy1, Onder Erin2, Suraj Raval3
1Department of Computer Science, The Johns Hopkins University, Baltimore, MD 21287 USA.
IEEE transactions on medical robotics and bionics
|August 21, 2023
概括
基于模型的模拟 (MBS) 加快了磁性医疗机器人的强化学习 (RL). 这种方法训练RL的速度比现实训练快200倍,大大提高了自主控制准确度,以实现更安全的外科手术程序.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能
- 医疗技术 医疗技术 医学技术
背景情况:
- 磁性操纵的医疗机器人提供微型化和无动作.
- 自主控制是安全准确的机器人手术的关键.
- 经典的控制方法与复杂,动态的环境作斗争.
研究的目的:
- 将无模型强化学习 (RL) 应用于磁针操纵.
- 为了克服RL在现实世界手术机器人中的不切实际的长运行时间.
- 为医疗机器人开发一种更快,更准确的自主控制方法.
主要方法:
- 使用指导式现实世界探索构建了一个基于模型的模拟 (MBS),以学习环境动态.
- 在MBS环境中应用RL进行密集训练.
- 从MBS转移学习的行为到现实世界的系统.
主要成果:
- 通过MBS方法,在一个正方形轨迹上,实现了6毫米的平方根平均值 (RMS) 误差.
- 在MBS中的RL培训比现实世界的培训快大约200倍.
- 基于纯模拟的方法产生了31毫米的RMS误差,表明可转移性差.
结论:
- 基于模型的模拟 (MBS) 环境对于在现实世界培训不切实际的领域加速RL是有效的.
- 这种方法显著提高了磁性医疗机器人的自主控制的速度和准确性.
- 当初无法获得准确的模拟时,MBS为开发强大的控制策略提供了可行的解决方案.
