在视手术视频中自动检测步骤,使用深度学习
Ce Zheng1, Wen Li2, Siying Wang2
1Department of Ophthalmology, Xinhua Hospital Affiliated to Shanghai Jiaotong University School of Medicine, Shanghai, China.
BMC ophthalmology
|June 9, 2024
概括
深度学习模型现在可以在视频中自动识别眼手术步骤,改善外科训练. 与基于RNN的模型相比,基于变压器的深度学习模型在分类手术过程中表现出更高的准确性.
科学领域:
- 眼科医生 眼科 眼科
- 进行外科手术培训.
- 人工智能的人工智能
背景情况:
- 对眼科医生来说,眼手术培训是非常重要的.
- 手术步骤的自动分类提高了培训效率和绩效评估.
- 开发深度学习模型来自动检测眼手术步骤是必不可少的.
研究的目的:
- 开发和验证一个深度学习模型,用于在视频中自动检测眼手术步骤.
- 为了比较循环神经网络 (RNN) 和基于变压器的深度学习模型的性能.
主要方法:
- 收集了479个视障手术视频.
- 根据ICO-OSCAR标准,手动分割视频成3345个片段,代表八个手术步骤.
- 训练并评估了两种混合深度学习模型 (基于RNN和基于变压器) 使用准确性,AUC,精度,回忆和F1分数.
主要成果:
- 基于变压器的模型实现了1.00的宏观平均AUC,超过了基于RNN的模型 (0.98).
- 基于变压器的模型显示了显著更高的精度 (0.96比0.83,p<0.001).
- 基于变压器的模型在各种手术步骤中表现出卓越的精度和F1分数.
结论:
- 深度学习模型可以准确地自动识别眼手术视频步骤.
- 基于变压器的算法在模拟时空特征方面出色,用于在外科训练中进行高性能视频分析.
