医学学生临床表现的基于词典的情感分析的有效性评估从培训评估报告中获得的有效性评估

科学领域:

• 医学教育 医学教育
• 自然语言处理自然语言处理.
• 绩效评估是指对绩效进行评估.

背景情况:

• 传统的临床绩效评估依赖于定量评级 (例如,利克特等级).
• 自然语言处理 (NLP) 的进步使定性叙事数据能够被整合到评估中.
• 在培训评估报告 (ITERs) 包含丰富的叙事反医学学生的临床表现.

研究的目的:

• 评估基于词典的情感分析的有效性,以评估医学学生使用ITERs的临床表现.
• 探索将情绪分析集成到未来评估决策中的机器化整合的潜力.

主要方法:

• 采用了混合方法,回顾性队列研究设计.
• 内容分析被用来开发性能描述符的词汇.
• 进行了G研究和计算积极概率比率 (LR+) 进行了描述符评分.
• 进行了基于词典的情感分析,比较了表述类型的高绩效学生 (HPS) 和低绩效学生 (LPS) 之间的描述类型.

主要成果:

• 该G研究表明,86.6%的绩效评估差异归因于学生.
• 描述符识别的评审者之间的可靠性很高 (类内相关系数=0.93).
• 与表现最高的学生 (HPS) (1.4) (p < 0.01) 相比,表现最低的学生 (LPS) 的负面描述因素显著更多 (11.4).
• 与LPS (1.4) (p < 0.001) 相比,表现最高的学生 (HPS) 的积极描述因素显著更多 (19).

结论:

• 在ITER中的叙述数据为医学学生的表现提供了有价值的见解.
• 在ITER中对临床性能描述符的基于词典的情绪分析是一个有效的方法.
• 这种方法可以有意义地为医学学生的评估决策做出贡献,补充传统的定量措施.