自我手术-HTS:在开放式手术视频中自我中心手工工具细分的数据集

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 手术机器人手术机器人手术机器人手术机器人

背景情况:

• 自我中心的开放手术视频提供了对外科手术程序和外科医生行为的详细见解.
• 对手和手术工具的像素级理解对于解释外科医生的行动和意图至关重要.

研究的目的:

• 介绍EgoSurgery-HTS,这是一个具有像素智能的注释的新型数据集,用于细分外科工具,手和它们的相互作用.
• 为自我中心的外科视频中评估细分方法提供一个基准套件.

主要方法:

• 开发了一个标记的数据集,例如对14种手术工具类型的细分.
• 包括用于手的实例细分.
• 实现了手工工具细分,以识别主要操作手和操纵的工具.

主要成果:

• 在EgoSurgery-HTS数据集上对最先进的细分方法进行了广泛的评估.
• 与现有数据集相比,手和手工工具细分精度显著改善.

结论:

• 自我外科手术-HTS促进了手术程序和人类行为的更准确的建模.
• 数据集和基准套件推动了用于手术应用的计算机视觉研究.