通过镜像反射同步立体外科视频流使用镜像反射

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 手术技术 手术技术

背景情况:

• 立体内镜的立体外科视频流需要同步的左右图像对来完成精确的下游任务,例如立体深度计算.
• 捕获卡的脱同步是手术环境中常见的问题,挑战了依赖分散反射线索的现有方法.
• 手术环境带来了独特的困难,包括潮湿的组织,快速的摄像机移动和实时处理的需求.

研究的目的:

• 通过开发一种新的方法来恢复相应的左右图像来解决手术视频中的立体声同步问题.
• 通过利用镜像反射,克服现有方法在具有挑战性的外科条件中的局限性.

主要方法:

• 开发了一个新的左右比较得分 (LRCS),利用通过神经网络在潮湿的组织上检测到的镜面亮点.
• 使用不变描述符来表征特殊的亮点,并匹配以形成LRCS.
• 拟议的LRCS与147种现有方法进行了评估,使用44个具有挑战性的机器人手术视频序列与模拟和真实脱同步.

主要成果:

• 拟议的LRCS实现了卓越的性能,平均偏移为0.055,成功同步为94.1±3.6%.
• 这显著优于现有的最佳LRCS,其平均偏移为0.3和81.2±6.4%的同步.
• 拟议的方法表明平均和最大偏移分别为0.055和1.

结论:

• 利用镜像反射为实时手术立体声同步提供了重大进步.
• 拟议的方法为同步立体外科视频提供了一个强大的解决方案,即使在具有挑战性的条件下.
• 这种技术提高了立体视频数据的可靠性,用于关键的外科应用.