在机械血栓切除术中,使用反向增强学习对导管和导线进行自主导航
Harry Robertshaw1, Lennart Karstensen2, Benjamin Jackson1
1Surgical and Interventional Engineering, School of Biomedical Engineering and Imaging Sciences, Kings College London, London, UK.
概括
这项研究探讨了使用逆强化学习 (IRL) 进行机械血栓切除 (MT) 的自主导线导航. 奖励塑造实现了100%的成功,证明了更安全,更容易获得的内血管程序的潜力.
科学领域:
- 内血管外科手术是什么意思
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能是人工智能.
背景情况:
- 在内血管外科手术中,自主导航可以提高安全性和有效性.
- 远程操作的机器人可以扩大对紧急程序的访问,如机械血栓切除术 (MT).
- 强化学习 (RL) 对导航具有前景,但在没有奖励信号的情况下面临挑战.
研究的目的:
- 探索在MT血管系统中自主导线导航的可行性.
- 利用反向强化学习 (IRL) 来从专家演示中推导奖励函数.
- 提高内血管干预的安全性,有效性和可访问性.
主要方法:
- 使用模拟开放框架架构 (SOFA) 开发了一个模拟环境.
- 使用IRL从专家导线和导管导航中推断奖励函数.
- 训练模型使用软演员-批判算法与各种奖励函数用于in silico比较.
主要成果:
- 证明了使用IRL的自主导航的可行性.
- 取得的高成功率:单个设备的95%和双设备的96%的跟踪.
- 奖励塑造产生了100%的成功率和22.6s的程序时间,超过了密集奖励 (96%,24.9s) 和IRL衍生奖励 (48%,59.2s).
结论:
- 通过使用IRL成功地推进了MT的自主内血管导航.
- 奖励塑造提供了一种高效的培训方法,提高了MT的可访问性和精度.
- 未来的研究可以将这种方法扩展到各种不同的解剖结构,以获得更广泛的概括性.
