基于计算机的形态分析方法的评估,用于一般医学的自由文本答案在培训中的考试:算法验证研究
Daiki Yokokawa1, Kiyoshi Shikino1,2, Yuji Nishizaki3
1Department of General Medicine, Chiba University Hospital, Chiba, Japan.
在通用医学培训内检查 (GM-ITE) 中,自由文本答案的机器评分与人类评分相当. 这种方法可以降低与评估居民绩效相关的成本.
科学领域:
- 医学教育 医学教育
- 医疗信息学 医疗信息学
背景情况:
- 在日本,通用医学培训考试 (GM-ITE) 评估研究生居民的临床知识.
- 2021年GM-ITE纳入了医疗安全问题,包括使用基于视频的患者模拟的病例诊断和演示技巧.
- 评分自由文本答案带来了重大的人力资源挑战,可能会限制考试实施.
研究的目的:
- 为了比较人类与机器分数在GM-ITE中自由文本响应的有效性.
- 定性分析人类和机器生成得分之间的差异,以验证机器得分.
主要方法:
- 利用居民自愿的自由文本回复,回答基于GM-ITE视频的问题,模拟肺栓塞病例.
- 人类得分来自两个独立的得分器;机器得分使用了形态分析和对正确答案进行文字匹配.
- 从104个收集的案例中分析了39个有效的答案.
主要成果:
- 人类和机器分数之间的差异发生在7.2%的问题中 (在194个问题中14个).
- 确定了改进机器评分的具体领域,例如维护全面的词汇列表和字典.
- 承认一些差异是由于人类得分错误造成的.
结论:
- 机器评分的准确性与GM-ITE自由文本响应的人类评分相当.
- 实现需要一个简单的程序和校准,为得分提供一个具有成本效益的解决方案.
- 自动评分可以提高医疗培训内检查的效率和可扩展性.
更多相关视频
05:56Objectification of Tongue Diagnosis in Traditional Medicine, Data Analysis, and Study Application
Published on: April 14, 2023
09:00Author Spotlight: Validation of SICOLE-R for Assessing Cognitive and Reading Skills in Spanish-Speaking Children and Its Role in Personalized Education
Published on: August 16, 2024
相关概念视频
Statistical Methods to Analyze Parametric Data: ANOVA
One-way ANOVA is applied when a single independent variable or factor is scrutinized. It compares...
Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
Statistical Methods for Analyzing Epidemiological Data
Actuarial Approach
Consider the example of a high-risk surgical procedure with significant early-stage mortality. A two-year clinical study is conducted,...
Statistical Software for Data Analysis and Clinical Trials
Trial and Error and Algorithm
