使用自我监督的深度学习改进手术阶段识别

科学领域:

• 医疗人工智能 医疗人工智能
• 计算机辅助手术 计算机辅助手术
• 外科手术工作流程分析

背景情况:

• 智能系统在手术中提供实时决策支持.
• 手术阶段识别 (SPR) 改善了手术工作流程,但受到数据可用性的限制.
• 自主监督学习 (SSL) 利用未标记的数据来学习表示,解决数据限制.

研究的目的:

• 探索SSL对SPR在内镜垂体外科手术中的应用.
• 为了比较SPR的SimCLR和BYOL SSL框架的性能.
• 评估注意力加权聚合运营商对SPR绩效的影响.

主要方法:

• 将SimCLR和BYOL SSL框架应用于内镜下垂体手术视频数据.
• 集成了一个注意力加权的聚合运营商来增强空间特征提取.
• 使用F1分数对下游SPR任务的评估性能,与完全监督学习和减少数据场景进行比较.

主要成果:

• 使用注意力的SimCLR获得了66%的F1分,超过了完全监督的学习 (55%).
• 尽管标记数据减少了50%,SSL仍然保持了高性能 (64% F1评分).
• 在所有评估中,SimCLR表现出比BYOL更强大的稳定性.

结论:

• SSL是一种强大的方法,可以在内镜下垂体手术中增强SPR.
• 整合注意力机制进一步提高了SPR的SSL性能.
• 通过SSL,在显著减少标记数据要求的情况下,可以实现可比的SPR性能,从而促进了先进的外科决定支持系统.