TUNeS:一个具有自我注意力的时间U-Net,用于基于视频的手术阶段识别

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 手术技术 手术技术

背景情况:

• 在外科手术中,情境感知计算机辅助需要自动识别手术阶段.
• 用于手术阶段识别的视频分析在特征提取和时间建模方面面临挑战.

研究的目的:

• 探索注意力机制,以改善手术阶段识别中的时间建模.
• 提出 TUNeS,一个高效的时间模型,将自我注意纳入U-Net结构,以增强手术阶段识别.

主要方法:

• 在卷积式U-Net架构 (TUNeS) 中利用了自我注意机制.
• 训练有素的卷积神经网络 (CNN) 与长期短期记忆 (LSTM) 在长时间视频段上进行长时间背景.
• 在Cholec80数据集上评估模型性能.

主要成果:

• 用较长时间背景训练的特征提取器通常在时间模型中提高了性能.
• 在使用上下文化特征的Cholec80数据集上,TUNES实现了最先进的性能.
• 证明了 TUNeS 在捕获外科手术阶段识别的远程依赖性方面的有效性.

结论:

• 可以有效地利用注意力机制来构建准确和高效的时间模型,用于手术阶段识别.
• 自动手术阶段识别对于优化外科手术工作流程和通过上下文感知辅助增强患者护理至关重要.