使用未注释和异质标记的视频进行手术步骤识别的弱监督的预训练

科学领域:

• 计算机视觉 计算机视觉
• 医疗教育 技术 技术 医学教育
• 手术机器人手术机器人手术机器人手术机器人

背景情况:

• 手动注释手术视频对于培训至关重要,但耗时且限制了可扩展性.
• 自动化手术步骤识别对于在手术培训中提供反和评估至关重要.
• 目前的方法在现实世界外科训练场景中难以获得有限的注释数据.

研究的目的:

• 提出和评估一个弱监督的预培训框架,以改善自动化手术步骤识别.
• 为了提高模型性能,利用未注释或异质标记的手术视频.
• 为了解决手术视频注释培训数据短缺的挑战.

主要方法:

• 评估了三种类型的弱标签:手术阶段,跨程序步骤和手术内时间进展.
• 利用了四种机器人辅助手术 (袖子胃切除术,子宫切除术,胆囊切除术,激进前列腺切除术) 的数据集.
• 通过改变可用的步骤注释的比例 (α ∈ 0.25, 0.5, 0.75, 1.0) 来模拟注释稀缺性,并对具有/没有弱标签预训练的2D CNN模型进行基准测试.

主要成果:

• 使用手术阶段标签 (PHASE-WITHIN) 的预训练持续改善了步骤识别,在有限的注释下 (α=0.25) 获得高达6.4 f1分的得分.
• 跨程序阶段预培训和基于时间的标签根据程序提供了好处.
• 标签效率分析表明,疲弱的预训练与需要显著更多手动注释的性能相匹配.

结论:

• 弱监督的预训练是一种实际的策略,可以通过稀缺的注释数据来增强外科步骤识别.
• 这种方法支持外科培训中的可扩展反和评估.
• 它为手术培训工作流程提供了一个可行的解决方案,在这些工作流程中,全面的注释是不切实际的.