从显微镜到头部显示器:将手部跟踪集成到微手术增强现实中
Trishia El Chemaly1,2,3, Caio Athayde Neves4,5, Fanrui Fu4
1Department of Bioengineering, Stanford University, Stanford, California, USA. tchemaly@stanford.edu.
International journal of computer assisted radiology and surgery
|August 20, 2024
概括
在耳部微手术中,用于增强现实 (AR) 的自由手势控制可以提高外科手术工作流程. 这项研究将手指跟踪集成到手术显微镜中,改善了微观手术过程中的人机交互和效率.
科学领域:
- 医疗技术 医疗技术 医学技术
- 手术导航 手术导航
- 人与计算机的交互
背景情况:
- 操作显微镜对于耳部微手术至关重要,需要在狭窄的空间中精确导航.
- 增强现实 (AR) 整合了手术前成像 (CT) 与实时显微镜料,以增强外科指导.
- 目前的AR系统需要人工计算机交互,破坏手术流程和无菌性.
研究的目的:
- 实施和评估使用手跟踪和手势识别用于AR手术指导的自由手互动.
- 为了减少手术期间的干扰,并改善人机互动在耳部微手术.
主要方法:
- 用定制的3D打印板校准了一个电磁追踪外科显微镜.
- 集成的Ultraleap的跳动运动控制器2用于手部跟踪和手势识别.
- 收集了外科医生的反,并执行了涉及虚拟模型交互和AR可视化调整的用户任务.
主要成果:
- 基于初步观察和用户反,增强了手动交互功能.
- 用户更喜欢新的交互概念,因为他们的工作流程中断和直观控制最小.
- 该系统在模拟的外科手术任务中展示了与虚拟内容的改进互动.
结论:
- 成功地将头戴式显示器 (HMD) 风格的手动交互概念集成到AR耳科微手术的手术显微镜中.
- 开发的系统在手术环境中提供了更有利的人机交互方法.
- 这项技术显示了在微观AR指导下更高效地执行手术任务的潜力.
