一次的射击! 在外科手术中的智能机器人X射线系统的自然语言控制
Benjamin D Killeen1, Shreayan Chaudhary2, Greg Osgood3
1Laboratory for Computational Sensing and Robotics, Johns Hopkins University, Baltimore, MD, 21218, USA. killeen@jhu.edu.
概括
现在,外科医生可以使用自然语音命令来控制机器人C臂X射线系统. 这种由大型语言模型 (LLM) 驱动的语音接口在试验中实现了97%的令人满意的性能,以提高外科精度.
科学领域:
- 医学技术 医学技术 医学技术
- 手术机器人手术机器人手术机器人手术机器人
- 人与计算机的互动.
背景情况:
- 手术系统变得越来越复杂,导致具有挑战性的用户界面.
- 当前的C臂机器人X射线系统通常需要复杂的操纵杆操作和菜单导航.
- 这种复杂性阻碍了在手术期间高效使用高级功能.
研究的目的:
- 开发一种自然语言语音接口,用于控制机器人X射线成像系统.
- 为了使外科医生能够使用自然语言直接访问任务意识,患者特定的C-arm功能.
- 克服手术系统中复杂,设备特定接口的局限性.
主要方法:
- 为机器人X射线系统创建了一个英语语音界面.
- 一个大型语言模型 (LLM) 被用来将口语命令转化为机器指令.
- 该系统支持基于图像分析的低级调整和患者特定的视图命令.
主要成果:
- 该系统在接受治疗医生的212个提示时进行了评估,达到97%的令人满意的性能.
- 一项实时研究表明,一名主治医生只使用语音命令成功地放置了骨科硬件.
- 语音接口在模拟外科手术过程中可以直接控制X射线系统.
结论:
- 语音接口为外科医生提供了一种灵活和方便的方法来控制C臂系统.
- 外科医生可以根据所期望的结果进行手术,而不是复杂的设备程序.
- 在LLMs的进步将进一步提高他们的应用在复杂的外科辅助系统.
