绩效评估的可靠性创造了人工智能在兽医教育中的潜在应用:评估单一机构的接技能

科学领域:

• 兽医外科教育 兽医外科教育
• 生物医学工程 生物医学工程
• 机器学习在医疗保健中的应用

背景情况:

• 对外科技能的客观评估对于兽医培训至关重要.
• 传统的绩效评估 (PA) 往往受到主观性和评审者之间的变化影响.
• 电肌图 (EMG) 提供了一种潜在的客观测量在手术任务期间的运动控制.

研究的目的:

• 评估三种兽医接技能的常见绩效评估 (PA) 的可靠性.
• 为了将PA发现与电肌图 (EMG) 腕带的数据进行比较.
• 探索机器学习算法在分析EMG数据中对外科技能评估的有用性.

主要方法:

• 16名兽医学生在培训后的不同时间点对合成模型进行了接任务.
• 专家外科医生通过使用客观结构化临床检查 (OSCE) 样式的检查清单,客观结构化技术技能评估 (OSATS) 检查清单和全球评分表 (GRS) 来评分数字视频.
• 从主导前臂收集的表面肌电图 (sEMG) 数据并使用机器学习算法进行分析.

主要成果:

• 欧安组织和OSATS检查清单显示中等可靠性,而GRS显示可靠性较差.
• 对于适度耐受性的检查清单,达成了评估者间的协议,但对于GRS来说仍然很差.
• sEMG信号与检查列表分数或任务时间没有很好的相关性,但机器学习成功地根据提取的EMG特征对任务进行了分类.

结论:

• 目前的绩效评估 (欧安组织,OSATS,GRS) 不足以可靠地描述兽医学生的技巧.
• 对动力学和EMG数据的进一步研究是有必要的,以开发更客观,更少的主观的方法来评估兽医学生的外科技能.