用于自动评估自由文本答案的自然语言处理 - - 基于欧洲放射学文凭考试的可行性研究

科学领域:

• 医疗教育 技术 技术 医学教育
• 计算语言学 计算语言学
• 放射学检查 放射学检查

背景情况:

• 在医学检查中手动评估自由文本答案是耗时的,容易出现错误.
• 自然语言处理 (NLP) 为自动化这些答案的分析提供了一个潜在的解决方案.
• 这项研究调查了NLP在支持书面医学检查审查过程中的有效性.

研究的目的:

• 设计和测试一种自然语言处理 (NLP) 引擎,用于在欧洲放射学文凭 (EDiR) 考试中自动分析自由文本答案.
• 为了评估NLP方法的性能与手动评审员标记相比.
• 探索NLP作为考试审稿人的决策支持系统的潜力.

主要方法:

• 使用了欧洲放射学委员会的数据集,包括问题,答案密钥,参与者答案和审查员标记.
• 选择了三个自由文本问题,两个非结构化和一个半结构化,用于分析.
• 开发了一个NLP引擎,使用单词列表,基于规则的同义词和决策树学习,接受了答案键的培训.

主要成果:

• 通过NLP方法,非结构化问题1的F1得分为0.26,非结构化问题2的0.33和半结构化问题的0.5.
• 精度和回忆值各不相同,半结构化问题比非结构化问题 (0.26/0.27和0.4/0.32) 获得更高的分数 (0.62/0.55).
• 对于更结构化的问答格式,表现明显更好.

结论:

• 成功设计了一种可行的基于NLP的方法,用于在EDiR考试中自动评估自由文本答案.
• 在医学检查中,NLP显示出作为手册审查员的决策支持系统的潜力.
• 未来的工作应该探索先进的NLP技术和大型语言模型,并考虑优化自动化审查的考试设计.