基于增强现实与人工智能相结合的肝脏门户段的腹腔镜投影映射,用于腹腔镜解剖肝脏切除

科学领域:

• 手术技术 手术技术
• 医疗成像医学成像
• 人工智能在医学中的应用

背景情况:

• 肝细胞癌转移需要准确的门户段映射用于腹腔镜切除肝脏.
• 腹腔镜手术面临着触觉反和有限的可视化挑战,阻碍了精确的解剖切除.
• 增强现实 (AR) 和人工智能 (AI) 是新兴的工具,可以提高腹腔镜肝脏手术的可视化和准确性.

研究的目的:

• 开发和评估基于AR的投影绘图方法,用于腹腔镜外科手术中的门户段.
• 利用人工智能提高在2D腹腔镜图像上叠加手术前3D模型的准确性.
• 评估人工智能辅助AR门段映射用于腹腔镜解剖性肝切除的准确性.

主要方法:

• 在380张手术视频图像上使用Detectron2开发了一个基于AI的肝脏轮检测系统.
• 使用3D Slicer软件从CT图像中生成3D肝脏模型与细分映射.
• 集成的人工智能检测到3D模型的肝脏边缘使用AR (Vuforia SDK) 和实时染在Unity中的投影映射.

主要成果:

• 人工智能辅助方法的最大误差为422毫米,远低于非人工智能方法 (1255毫米).
• 使用基于人工智能的方法,平均误差减少到14.5mm,而没有人工智能的方法则是31.2mm.
• 尽管相机在模拟的手术场景中移动,但3D AR显示器仍然稳定.

结论:

• 门段的人工智能辅助AR投影映射绘制为腹腔镜解剖肝切除提供了一种新且准确的方法.
• 这种技术可以克服腹腔镜内可视化的局限性,有可能改善肝癌的外科治疗结果.
• 开发的系统有望在复杂的肝脏手术中提高精度和安全性.