通过增强现实启用腹腔镜外科手术自动注释

科学领域:

• 医疗图像计算 医疗图像计算
• 手术导航 手术导航
• 增强现实 (AR) 是一种增强现实.

背景情况:

• 准确的外科手术标签 (例如图像细分) 对于医学图像计算任务至关重要.
• 手动创建这些标签是耗时的,昂贵的,需要专家参与.
• 现有的方法经常与被遮住的视图或在摄像机视野之外相互作用的工具作斗争.

研究的目的:

• 提出和评估一个自动化途径,用于生成外科手术程序标签.
• 在增强现实 (AR) 系统中利用空间和时间注册来生成标签.
• 为了减少与创建医学成像数据集相关的手工工作和成本.

主要方法:

• 使用患者数据,解剖模型,跟踪仪器和外科医生的视角之间的空间和时间记录.
• 从实时腹腔镜AR系统收集全面的原始数据 (视频,跟踪,校准).
• 将手术记录转换为各种表示,以生成数据集作为副产品.
• 采用3D注册来覆盖真实对象与虚拟对应对象进行准确的标签.

主要成果:

• 拟议的系统可以生成有价值的数据集作为AR启用手术的副产品.
• 这种方法成功地创建标签,即使视觉输入被屏蔽或工具不在视野之外.
• 开发了一个交互式系统,以帮助用户注释手术数据.
• 参与者的反表明了该系统的有效性和用户友好性.

结论:

• 使用AR系统和3D注册,可以实现手术标签的自动生成.
• 这种方法显著减少了对医疗专家手册注释的依赖.
• 该系统提供了一个具有成本效益和高效的解决方案,用于创建大规模的医学成像数据集.
• 进一步开发可以提高AR系统在手术数据注释和分析中的实用性.