自动手势识别和评估在腹腔镜外科手术培训培训的转移任务中
Shujun Ju1,2, Penglin Jiang2, Yutong Jin2
1West China Biomedical Big Data Center, West China Hospital, Sichuan University, Chengdu, China.
Surgical endoscopy
|May 2, 2025
概括
一个人工智能模型为腹腔镜训练自动化了外科手势识别,改善了客观评估. 该系统基于中国拉皮眼技能测试和评估 (CLSTA) 工具,增强了训练员的反.
科学领域:
- 医学教育 医学教育
- 在外科手术中使用人工智能
- 外科手术技能的评估.
背景情况:
- laparoscopic 手术培训需要客观的评估方法.
- 手动的视频注释对教师来说是耗时的.
- 开发自动化工具可以减轻注释负担并标准化评估.
研究的目的:
- 开发一个用于腹腔镜训练的自动手术手势识别模型.
- 为描述外科手术程序创建一个手势词汇.
- 为了实现客观的,人工智能驱动的外科技能评估.
主要方法:
- 基于用于转移任务的中文拉巴洛斯科普技能测试和评估 (CLSTA) 工具,定义了一个手势词汇.
- 一个3D ResNet-18卷积神经网络 (CNN) 被用于初始的手势识别.
- 集成了一个LSTM神经网络来改进序列输出,使用80个视频的数据集.
主要成果:
- 3D ResNet-18模型实现了83.8%的精度和84%的F1得分.
- 添加LSTM网络提高了性能,达到85.84%的准确度和85%的F1得分.
- 分析显示了特定手势 (G1,G3,G6) 的性能差异,突出了有针对性的训练员改进领域.
结论:
- 成功开发了一种人工智能驱动的模型,用于腹腔镜转移中的自动手术手势识别.
- 定义的手势词汇使得能够对外科训练手术进行顺序描述和基于人工智能的分析.
- 这项技术为客观,自动化的外科技能评估在临床环境中使用CLSTA框架提供了一条途径.
