面向开放式手术的零射击低延迟导航增强现实应用程序
Michael Schwimmbeck1,2, Serouj Khajarian3,4, Christopher Auer3
1Research Group Medical Technologies, University of Applied Sciences Landshut, Landshut, Germany. michael.schwimmbeck@haw-landshut.de.
概括
本研究介绍了一种用于肝脏手术的新增现实 (AR) 系统,通过无标记追踪和人工智能驱动的细分来提高导航准确度和减少延迟. 该系统表现出强大的性能,即使有器官运动和闭塞.
科学领域:
- 医疗成像医学成像
- 计算机辅助手术 计算机辅助手术
- 增强现实是一种增强现实.
背景情况:
- 使用头部显示器 (HMD) 的增强现实 (AR) 通过将3D模型叠加到患者解剖学上来增强外科导航.
- 开放性肝脏手术可以显著受益于AR导航用于瘤和关键结构识别.
- 目前的AR方法缺乏自动,无标记和强大的解决方案来应对现实世界的外科手术挑战,如闭塞和器官运动.
研究的目的:
- 引入一种新的多设备方法,用于在开放性肝脏手术中实现自动,无标记器的实时导航.
- 为了增强AR可视化和交互,使用HoloLens 2 HMD进行精确的注册.
- 通过解决阻塞和器官运动来克服现有方法的局限性.
主要方法:
- 一个结合HoloLens 2和Intel RealSense RGB-D摄像头的多设备系统,用于精确的注册.
- 术内RGB-D细分和术前CT数据用于虚拟肝脏模型注册.
- 基于AR的SegmentAnything模型 (SAM) 提供了强大的,现场肝脏细分,无需重新培训.
- 双指数平滑 (DES) 用于预测注册结果以减轻算法延迟.
主要成果:
- 幻影研究表明,与之前的工作相比,注册错误 (8.3118.78毫米TRE) 是可比的.
- 即使有显著的肝脏运动和高的闭塞因子,也取得了高的成功率.
- 每79.8毫秒的算法延迟通过预测被绕过,中间误差低于2毫米和1.5度.
结论:
- 这项工作通过整合多设备注册,预测和基础模型,开创了无标记的现场AR可视化.
- 这种方法提供了可靠的,精确的AR注册的手术目标与低延迟.
- 该方法可适应其他外科应用和AR硬件.
