基于视频的机器人手术行动识别和技能评估在使用深度学习的猪模型上
Nasseh Hashemi1,2,3,4, Matias Mose5, Lasse R Østergaard5
1Department of Clinical Medicine, Aalborg University, Aalborg, Denmark. nasseh.hashemi@gmail.com.
Surgical endoscopy
|January 13, 2025
概括
这项研究开发了一种人工智能工具,用于机器人辅助手术 (RAS) 中的自动化外科技能评估. 深度学习模型准确地识别了手术行为,并将新手与经验丰富的外科医生区分开来,为改进的外科训练铺平了道路.
科学领域:
- 医疗技术 医疗技术 医学技术
- 在外科手术中使用人工智能
- 外科教育的外科教育
背景情况:
- 机器人辅助手术 (RAS) 要求高水平的技能,以获得最佳的患者结果.
- 目前的外科培训依赖于经验丰富的外科医生的主观评估.
- 人工智能 (AI) 具有提高外科手术技能评估的潜力.
研究的目的:
- 开发一个用于评估外科手术技能的自动化深度学习工具.
- 提高外科学员培训的客观性和效率.
- 利用人工智能来增强现有的基于人类的外科评估.
主要方法:
- 利用了结合卷积神经网络和长短期记忆 (LSTM) 层的深度学习架构.
- 开发了两个网络,用于从手术视频中提取空间和时间特征.
- 采用GradCAM过器,以提高模型在动作识别和技能分类中的可解释性.
主要成果:
- 动作识别网络在识别外科手术时实现了96.0%的准确性.
- 技能评估网络准确地分类了新手和经验丰富的外科医生,准确率为81.3%.
- 程序图被生成以可视化技能评估结果.
结论:
- 人工智能可以有效地自动识别外科手术和评估技能.
- 猪模型为手术培训中的AI开发提供了有价值的数据.
- 未来的研究应该在临床环境中验证人工智能驱动的反和评估.
