SF-TMN:SlowFast手术阶段识别时间建模网络

科学领域:

• 计算机视觉 计算机视觉
• 医学图像分析 医学图像分析
• 手术教育技术 技术手术教育

背景情况:

• 自动手术阶段识别对于外科培训中的客观评估至关重要.
• 当前的方法通常依赖于时间建模的级特征,可能缺少更广泛的时间动态.
• 有效的时间建模是从视频数据中准确识别手术阶段的关键.

研究的目的:

• 开发一个新的网络,SlowFast时间建模网络 (SF-TMN),用于增强线下外科手术阶段识别.
• 为了在统一的框架内实现框架级和细分级的时间建模.
• 提高手术阶段识别系统的准确性和稳定性.

主要方法:

• 提出了SlowFast时间建模网络 (SF-TMN),集成框架和段级时间建模.
• 使用预训练的特征提取网络来生成框架特征.
• 采用缓慢路径用于级时间建模和快速路径用于细分级时间建模.
• 探索MS-TCN和ASFormer作为时间建模网络的骨干.

主要成果:

• 在Cholec80和Cataract-101手术阶段识别数据集上,SF-TMN实现了最先进的性能.
• 使用ASFormer骨干的SF-TMN在准确度上超过了前一个最先进的状态,在Cholec80.0上精确度高达1%和回忆率高达1.5%.
• 在行动细分基准上取得了最先进的结果:50沙拉,GTEA和早餐.

结论:

• 结合框架级和细分级的时间信息,显著改善了手术阶段识别.
• 时间精细化阶段增强了手术阶段的建模.
• SF-TMN框架为基于视频的外科分析提供了一种灵活和有效的方法.