相关实验视频
Updated: Jun 30, 2025

Development of a Virtual Reality Assessment of Everyday Living Skills
Published on: April 23, 2014
通过新的测试设计,COMLEX-USA Level 3的有效性研究
Xia Mao1, John R Boulet1, Jeanne M Sandella1
1159673 National Board of Osteopathic Medical Examiners , Chicago, IL, USA.
这项研究验证了重新设计的美国综合骨科医疗执照考试 (COMLEX-USA) 3级 (L3) 使用凯恩的框架. 这些发现支持L3检查对骨科医生医疗执照的有效性.
科学领域:
- 医学教育评估 医学教育评估
- 心理测量 心理测量 心理测量
- 骨科医生医疗执照 医疗执照 医疗执照
背景情况:
- 国家骨科医学检查员委员会 (NBOME) 管理美国骨科医师执照的综合骨科医学执照考试 (COMLEX-USA).
- 2018年9月,COMLEX-USA 3级 (L3) 考试被重新设计为为期两天的计算机式考试,包括多项选择题 (MCQ) 和临床决策 (CDM) 组件.
- 根据新设计,对L3考试的持续验证对于准确的分数解释和利用至关重要.
研究的目的:
- 收集COMLEX-USA 3级 (L3) 考试成绩的有效性证据,按照修订后的两天计算机形式进行考试.
- 应用凯恩的有效性框架,从评分,概括,推断和暗示/决策组件中检查证据.
- 为了确保L3检查准确地测量骨科医生医疗执照的预期构造.
主要方法:
- 利用凯恩的有效性框架,从8,366名首次COMLEX-USA 3级 (L3) 考生 (2018年9月 - 2019年12月) 收集数据.
- 评估内容覆盖范围,评分程序,可靠性,决策准确性,评分关联 (MCQ/CDM组件,L3/L2-PE) 和子组表现.
- 采用自动化测试组件 (ATA) 进行形式并行性和以标准为依据的标准制定过程来确定通过/失败.
主要成果:
- 评估表格通过自动化测试组件 (ATA) 证明了并行性;评分遵守了质量标准.
- 观察到短答案 (SA) 评分的高互评分可靠性和通过/失败分类的高决策准确性/一致性.
- 在MCQ和CDM组件之间,以及在L3分数和COMLEX-USA第二级绩效评估 (L2-PE) 域分数之间,发现了统计学上显著的积极关联,与测量预期保持一致. 小组分析显示预期的小得分差异.
结论:
- 该研究为重新设计的COMLEX-USA 3级 (L3) 考试提供了实质性的有效性证据,支持其用于骨科医生医疗执照的使用.
- 持续的评估和证据收集对于维持COMLEX-USA审查系列的有效性论证至关重要.
- 这些发现证实了用于L3通过/失败决策的标准制定程序的可辩护性.
更多相关视频
09:00Author Spotlight: Validation of SICOLE-R for Assessing Cognitive and Reading Skills in Spanish-Speaking Children and Its Role in Personalized Education
Published on: August 16, 2024
00:08A Cross-Disciplinary and Multi-Modal Experimental Design for Studying Near-Real-Time Authentic Examination Experiences
Published on: September 4, 2019
相关概念视频
Reliability and Validity
Multiple Comparison Tests
It would be easy to compare two samples using a significance alpha level of 0.05. In other words, there is only one sample pair to be compared. However, it would be difficult to identify a significantly different sample if the number...
Wechsler's Contribution to Measures of Intelligence
Measures of Intelligence
Validity refers to how well a test measures what it claims to measure. An intelligence test should accurately assess intelligence rather than another characteristic, like anxiety. Criterion validity is one way to evaluate this;...