使用现场感知自动提示的AR导向开放性肝脏手术的自动化多模型细分和跟踪
Serouj Khajarian1,2, Michael Schwimmbeck3, Konstantin Holzapfel4
1Research Group Medical Technologies, University of Applied Sciences Landshut, 84036, Landshut, Germany. serouj.khajarian@haw-landshut.de.
概括
本研究介绍了增强现实 (AR) 引导肝脏手术的实时语义细分和跟踪系统. 该方法通过将多个AI模型与一种新的场景感知重新提示策略集成,提高了手术的准确性和速度.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 手术技术 手术技术
背景情况:
- 在外科手术中,增强现实 (AR) 的整合需要实时,准确的视觉数据处理.
- 开放性肝脏手术呈现出复杂的解剖变异,需要强大的细分和跟踪.
研究的目的:
- 开发一个多模型,实时语义细分和跟踪系统,用于AR引导的开放性肝脏手术.
- 为了利用基础模型和现场意识的重新提示,在外科AR应用中平衡准确性和速度.
主要方法:
- 集成ESANet (RGBD模型),SAM (细分基础模型) 和DeAOT (视频对象细分).
- 开发了一种自动提示管道,具有场景意识的重新提示算法,适应手术场景的变化.
- 在使用头戴AR装置进行10次开放性肝脏手术的手术内RGBD视频上进行评估.
主要成果:
- 多模型方法在没有重新提示的情况下,在13.2 FPS的中位 IoU 达到71% .
- 性能优于单个模型,比ESANet提供更高的细分精度和比SAM更好的时间分辨率.
- 现场意识的重新提示达到74.7%的IOU在11.5FPS,匹配DeAOT的性能.
结论:
- 现场意识的重新提示策略有效地平衡了实时AR肝脏手术的细分精度和时间分辨率.
- 整合互补模型可确保在复杂的外科环境中进行强大而准确的细分.
