AIxSuture:基于视觉的对开放接技能的评估

科学领域:

• 外科教育和培训外科教育和培训
• 医疗人工智能 医疗人工智能
• 计算机视觉在外科手术中的应用

背景情况:

• 客观的外科技能评估对于改善患者的治疗结果至关重要.
• 机器学习显示出对最小侵入性手术技能评估的承诺,但由于其复杂性,开放式手术仍然具有挑战性.
• 开发用于开放外科手术技能评估的自动化方法对于推进外科培训至关重要.

研究的目的:

• 在开放外科手术中提出自动化技能评估的新方法.
• 介绍和分析一个新的视频数据集,用于开放接培训.
• 为了对深度学习模型进行基准测试,以便在开放外科手术中对外科技能水平进行分类.

主要方法:

• 分析了314个开放接培训视频的新视频数据集.
• 使用了最先进的深度学习模型,包括带有I3D和Video Swin骨干的时间段网络.
• 模特们接受了培训,根据全球评级得分将视频分为三个技能级别.

主要成果:

• 数据集包括大约5分钟的视频,总计超过26小时的训练录像.
• 基准测试的准确率高达75%,F1得分高达72%,与个人人类评分器相比.
• 该研究提出了第一个端到端的训练方法,用于在开放式手术培训中评估技能.

结论:

• 提供了对新数据集的全面分析和对开放外科手术技能评估的新基准测试结果.
• 开发的方法可以通过视频评估传统外科手术技术的技能.
• 这一进步有可能显著改善外科医生的培训和患者的治疗结果.