在牙周病学中评估人工智能生成的考试论文:与人类设计的对应物进行比较研究

科学领域:

• 牙科教育 牙科教育
• 人工智能在医学中的应用
• 牙周病学评估评估

背景情况:

• 在牙周科教育中评估人工智能 (AI) 产生的检查对于了解其潜力和局限性至关重要.
• 传统的人体设计考试是目前评估牙科学生知识和技能的标准.

研究的目的:

• 在牙周科教育中,系统地比较人工智能产生的检查与人类设计的检查的性能.
• 评估人工智能和人类设计的评估之间的考试质量,学生成果和实际应用的差异.

主要方法:

• 一项随机对照试验涉及126名本科牙科学生,分为AI (GPT-4) 和人类检查组.
• 两组都完成了90个多选题,涵盖了相同的牙周学内容,并分析了心理测量属性和学生反.
• 心理测量分析包括分半可靠性,内容覆盖,因素分析和难度/歧视指数.

主要成果:

• 人工智能考试的内容覆盖率高 (81.3%与72.4%) 和总分高 (79.34与73.17,p=0.027).
• 人工智能测试显示的歧视指数显著较低 (0.35对0.49,p=0.004) 并获得较低的学生评级,感知困难,知识覆盖和学习灵感.
• 这两种检查类型都显示出足够的可靠性 (AI=0.81,人=0.84) 和可比的难度分布.

结论:

• 人工智能生成的检查提高了内容广度和效率,但缺乏临床上下文化和高风险使用的歧视.
• 建议采用混合人工智能-人类协作框架,整合医学知识图表,以优化评估精度.
• 这项研究提供了人工智能在改善牙科教育评估系统中的作用的证据,倡导一种平衡的方法.