在机器人辅助手术中使用变压器模型识别和预测手术手势和轨迹
Chang Shi1, Yi Zheng1, Ann Majewicz Fey1,2
1Walker Department of Mechanical Engineering, The University of Texas at Austin, Austin, TX 78712, USA.
Proceedings of the ... IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE/RSJ International Conference on Intelligent Robots and Systems
|June 26, 2023
概括
本研究介绍了用于机器人辅助手术 (RAS) 活动识别和预测的变压器模型. 这种新的方法使用动态数据准确预测手术手势和轨迹,增强实时手术应用.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能
- 医疗信息学 医疗信息学
背景情况:
- 机器人辅助手术 (RAS) 需要对应用程序的上下文理解,例如进度监测和技能评估.
- 变压器模型最初用于自然语言处理 (NLP),在序列建模任务中表现出色.
研究的目的:
- 在RAS中适应变压器模型用于手术手势和轨迹识别和预测.
- 为了评估模型的性能,使用动力学数据用于近实时应用.
主要方法:
- 修改了变压器架构,以处理手术机器人终端效应器的动态数据.
- 任务包括当前的手势序列生成,未来的手势序列预测和未来的轨迹预测.
- 在JHU-ISI手势和技能评估工作组 (JIGSAWS) 中使用Leave-One-User-Out (LOUO) 交叉验证进行评估.
主要成果:
- 在手势识别中获得了89.3%的准确性.
- 在1秒前的手势预测中达到84.6%的准确性.
- 在1秒前的轨迹预测中获得了2.71mm的错误.
结论:
- 拟议的变压器模型在仅使用动力学数据的手术活动识别和预测方面表现强.
- 这种方法与最先进的方法竞争或超越,使实时手术见解成为可能.
- 这些模型通过LOUO交叉验证显示了可通用性,为增强的RAS应用铺平了道路.
