LoViT:用于手术阶段识别的长视频变压器

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 手术阶段识别对于开发用于量化性能和监督手术工作流程的工具至关重要.
• 目前的方法与级监控扎,导致预测错误和长时间手术视频中局部/全球特征的融合不佳.

研究的目的:

• 开发一种先进的手术阶段识别方法,解决长视频现有方法的局限性.
• 通过结合时间动态和相位过渡来提高手术相位识别的准确性和稳定性.

主要方法:

• 拟议的长视频变压器 (LoViT) 是一种两阶段的方法,具有具有时间丰富的空间特征提取器和相位过渡地图.
• 采用了多层次时间聚合器,并配备了级联的L-Trans和G-Informer模块来处理时间信息.
• 使用过渡阶段意识监督用于手术阶段分类.

主要成果:

• 在Cholec80和AutoLaparo数据集上,LoViT在最先进的方法上表现出优越的性能.
• 与Trans-SVNet相比,在Cholec80上的视频级准确度提高了2.4个百分点,在AutoLaparo上提高了3.1个百分点.
• 在不同手术程序和时间特征的数据集中始终优于现有方法.

结论:

• 拟议的LoViT方法通过利用时间丰富的特征和相位过渡地图,有效地提高了手术相位识别.
• LoViT实现了最先进的性能,展示了其对现实世界外科手术工作流分析的潜力.
• 该方法在各种手术程序和视频复杂性方面被证明是有效的.