基于人工智能的动作识别和技能评估在机器人心脏手术模拟:一个可行性研究
Gennady V Atroshchenko1,2,3, Lærke Riis Korup4, Nasseh Hashemi5,6
1Department of Cardiothoracic Surgery, Aalborg University Hospital, Hobrovej 18-22, 9000, Aalborg, Denmark. gennady.atroshchenko@gmail.com.
Journal of robotic surgery
|July 13, 2025
概括
这项研究开发了一种深度神经网络,以识别外科手术并从视频中评估外科医生的技能. 人工智能在动作识别方面取得了很高的准确性,显示了机器人手术培训的潜力.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能
- 外科教育的外科教育
背景情况:
- 对手术技能的客观评估对于机器人手术的培训和患者安全至关重要.
- 目前的技能评估方法往往是主观的,耗时的.
- 人工智能驱动的视频分析为客观的,自动化的技能评估提供了潜在的解决方案.
研究的目的:
- 从视频中开发一个深度神经网络 (DNN) 来识别手术行为 (切割,解剖).
- 根据使用视频数据的表现,将外科医生分类为新手或专家.
- 在机器人心脏手术模拟中建立基于人工智能的自动化术后评估的基础.
主要方法:
- 19名不同经验的外科医生在猪模型上执行了三项湿实验室任务.
- 使用混合DNN,结合卷积神经网络 (CNN) 和长短期记忆 (LSTM).
- 时间标签被用于动作识别 (AR),记录被注释为技能评估 (SA) 作为新手或专家.
主要成果:
- 动作识别网络的平均准确率为98% (交叉验证) 和93% (测试),具有很高的精度和回忆.
- 技能评估网络实现了79%的准确性 (交叉验证),但需要进一步的数据进行可靠的评估.
- 梯度加权类激活映射证实了AI专注于相关的外科元素 (仪器,组织).
结论:
- DNN在识别外科手术时表现出高准确度,表明其潜在的实用性.
- 技能评估组件看起来很有希望,但需要更多的数据才能成为绩效评估的可靠工具.
- 结合深度学习模型可以成为机器人手术培训中人工智能驱动的自动化评估的基础.
