与训练有素的临床评估人员相比,人工智能支持临床技能评估的有效性证据

科学领域:

• 医学教育 医学教育
• 医疗保健中的人工智能
• 临床技能评估 临床技能评估

背景情况:

• 人工智能 (AI) 在医学教育中的使用正在增长.
• 与传统的基于专家的评估 (EBA) 相比,基于人工智能的评估 (AIBA) 的有效性是有限的.
• 本研究解决了对AIBA和EBA在评估复杂临床技能的有效性证据进行比较的需要.

研究的目的:

• 将基于AI的评估 (AIBA) 和基于专家的评估 (EBA) 的有效性证据进行比较和对比.
• 通过人工智能和人类专家生成的分数来评估复杂的临床技能的评估.
• 使用凯恩的框架在四个推论中组织有效性证据:评分,概括,推断和影响.

主要方法:

• 该研究利用凯恩的有效性框架来结构证据.
• 使用AIBA和EBA评估了胆样本 (模拟设置) 的表现.
• 人工智能采用卷积神经网络,运动跟踪和眼睛运动;专家使用共识开发的评分仪器.

主要成果:

• 对AIBA和EBA进行评分,概括,推断和影响的有效性证据得到了证明.
• 研究了关于评分可信性,可重复性和与培训水平相关的假设.
• 与EBA相比,AIBA在构造不足,可解释性和稳定性方面的有效性证据较弱.

结论:

• AIBA的联系比EBA更弱,特别是在构造表征,可解释性和可概括性方面.
• 结合人工智能和专家评估可能为未来的研究提供互补的好处.
• 需要进一步调查,以解决AIBA在医学教育评估中的局限性.