人工智能辅助脚本对应性测试:通过定制的ChatGPT提高可行性

科学领域:

• 医学教育 医学教育
• 医疗保健中的人工智能
• 认知科学 认知科学

背景情况:

• 脚本一致性测试 (SCT) 通过将受试者在不确定的场景中的反应与专家小组进行比较来评估临床推理.
• 传统方法在创建相关场景和确保专家小组可靠性方面面临挑战,复杂化了高风险评估.

研究的目的:

• 利用人工智能 (AI),特别是ChatGPT,解决开发和评分脚本一致性测试 (SCT) 的挑战.
• 探索人工智能生成的SCT的可行性,以评估眼科中的临床推理.

主要方法:

• 利用ChatGPT与精致提示生成与课程蓝图一致的SCT小幅画,模仿医学教育工作者.
• 开发了一个定制的ChatGPT系统,经过训练以协助SCT创建和评分,并结合了专家衍生的评分键.
• 在眼科中构建了一个10个问题的SCT,每个问题包含3个项目,以5分利克尔特尺度进行评估.

主要成果:

• 通过ChatGPT生成的SCT在模拟临床场景和结构化评分过程方面表现出有效性.
• 人工智能协助促进了对受试者反应模式的分析.

结论:

• 人工智能,特别是ChatGPT,为生成和评分脚本一致性测试 (SCT) 提供了可行的解决方案,增强了临床推理评估.
• 未来的努力将集中在将人工智能辅助的SCT扩展到其他医学专业,并建立一个验证的评估工具库.