SurgiTrack:在手术视频中进行细粒度多类多工具跟踪

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 手术机器人手术机器人手术机器人手术机器人

背景情况:

• 准确的外科工具跟踪对于计算机辅助干预至关重要.
• 由于视觉相似性和缺乏操作员信息,现有的方法难以处理动态场景,例如体外视图和工具重新识别.

研究的目的:

• 开发一种新的深度学习方法,用于强大的外科工具跟踪,解决以前方法的局限性.
• 通过结合与操作者相关的信息,在具有挑战性的场景中改进工具重新识别,包括封闭和重新插入.

主要方法:

• 提出了SurgiTrack,这是一种利用YOLOv7进行工具检测的深度学习方法,以及一种注意力机制,用于模拟工具起源方向,作为操作人员的代理.
• 引入了一种协调双方匹配图表,以处理多样化的工具轨迹视角,并确保准确的身份关联.
• 使用了CholecTrack20数据集,用于手术内,体内和可见性视角的细粒度标签.

主要成果:

• 与基线和最先进的方法相比,SurgiTrack在CholecTrack20数据集上表现出更高的性能.
• 该方法实现了实时推断能力,这对于实际的外科应用至关重要.
• 成功地解决了重新识别具有高度视觉相似性的工具的挑战,特别是在同一类别内.

结论:

• SurgiTrack在手术工具跟踪方面取得了重大进展,为增强的计算机辅助干预提供了动态轨迹.
• 使用操作方向作为代理的新方法提高了复杂的手术视频场景中的工具重新识别准确性.
• 这项工作为微创手术中适应性和精确的工具跟踪建立了新的基准.