基于卷积神经网络的手术工具和工具尖识别在多种内镜手术场景中的应用和评估
Lu Ping1,2, Zhihong Wang1, Jingjing Yao3
18-Year MD Program, Chinese Academy of Medical Science and Peking Union Medical College, Beijing, China.
Surgical endoscopy
|August 14, 2023
概括
本研究介绍了一种使用卷积神经网络 (CNN) 和YOLOv3进行实时手术工具和工具尖端识别的自动化方法. 该模型在各种手术场景中实现了高精度和灵敏度,增强了计算机辅助手术.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 手术技术 手术技术
背景情况:
- 计算机辅助和机器人辅助的手术需要实时的手术工具和工具尖端识别.
- 以前的研究在数据集大小,灵敏度,精度和响应时间方面遇到了局限性.
研究的目的:
- 开发和验证一种用于定位和识别手术工具及其尖端的自动化方法.
- 使用开发的模型,涵盖五种不同的外科手术场景.
主要方法:
- 使用一个卷积神经网络 (CNN) 与你只看一次 (YOLO) v3算法进行对象检测.
- 在25333张来自181个内镜视频的25333张图像上训练了模型,包括胰腺,甲状腺,结肠,胃和外部手术场景.
- 使用DarkNet-19作为骨干网络,修改YOLOv3进行检测.
主要成果:
- 在工具识别方面实现了93.02%的总体灵敏度和89.61%的精度 (IoU值为0.5).
- 实现了总体灵敏度为87.05%和精度为83.57%,用于工具尖端识别 (IOU值为0.5).
- 在外部场景中表现出最高的识别率,与胃和甲状腺手术相比,在胰腺和结肠手术中表现更好.
结论:
- 使用CNN和YOLOv3.3开发了一个强大的外科工具和工具尖识别模型.
- 该模型在各种不同的外科环境中表现出令人满意的精度,准确性和稳定性.
