以自我为中心的视频分析用于通过深度学习自动评估开放的外科技能
Athanasios Gazis1, Dimitrios Schizas2, Stylianos Kykalos2
1Laboratory of Medical Physics, Medical School, National and Kapodistrian University of Athens, Mikras Asias 75, 11527, Athens, Attiki, Greece.
International journal of computer assisted radiology and surgery
|September 17, 2025
概括
这项研究引入了一个深度学习框架,以客观地评估使用视频数据的开放外科技能. 变压器模型表现出卓越的性能,实现了自动化技能评估和改进的外科培训.
科学领域:
- 外科教育的外科教育
- 医疗成像医学成像
- 人工智能的人工智能
背景情况:
- 对开放外科技能的客观评估是有限的.
- 最少侵入性手术技能评估已经取得了进展.
- 以自我为中心的视频数据为技能评估提供了潜力.
研究的目的:
- 开发一个深度学习框架,用于评估开放外科手术中的技术外科技能.
- 评估不同的时间架构 (LSTM,TCN,变压器) 用于技能评估.
- 调查各种培训策略和动态数据集成的影响.
主要方法:
- 利用了201个自我中心的视频和手动力学,从结结,连续接和中断接任务.
- 雇佣的专家使用修改后的OSATS尺度进行注释.
- 在不同的培训策略下,评估了使用ResNet50骨干的变压器,LSTM和TCN模型.
主要成果:
- 基于变压器的模型表现优于LSTM和TCN.
- 多任务变压器 (Transf-MT T+S) 实现了最低的MAE和高的斯皮尔曼相关性.
- 证明了早期技能评估能力,从部分观察中预测总分.
- 在共识评级上训练的模型表现优于在个人注释上训练的模型.
结论:
- 开发的框架为客观,自动评估开放外科技能提供了基础.
- 这项技术有可能提高外科培训的效率和标准化.
- 使用共识专家评级可以提高技能评估模型的性能.
