医疗伦理教育中的人工智能:对八个模型进行描述性研究,用于生成多选题的问题

科学领域:

• 医疗教育 技术 技术 医学教育
• 医疗保健中的人工智能
• 评估和评价的评估和评估.

背景情况:

• 人工智能 (AI) 给医学教育工作者带来了挑战和机遇.
• 人工智能为产生医学伦理评估内容提供了一个潜在的解决方案.
• 评估AI在创建符合美国医疗执照考试 (USMLE) 的医学伦理多选题 (MCQ) 的有效性至关重要.

研究的目的:

• 评估八个人工智能模型在产生医学伦理MCQ方面的表现.
• 评估AI生成的MCQ与USMLE标准之间的相关性,清晰性和准确性.
• 为了比较不同的AI模型的有效性,包括GPT-4 Turbo,GPT-3.5 Turbo,o1 Mini,o1预览,GPT-4,克劳德3.5索内特,克劳德3 Opus和Gemini.

主要方法:

• 八个人工智能模型的任务是为13个与USMLE一致的医学伦理学学习结果生成两组MCQ (问题,答案,解释).
• 四位独立的医学伦理专家对生成的MCQ进行了相关性,清晰性和准确性的评分.
• 性能指标包括每个模型的平均值,中位数,范围,总得分和整体百分比得分,以及定性反.

主要成果:

• 克劳德3.5索内特获得了最高的整体性能 (86.28%),准确度 (85.57%) 和清晰度 (91.73%).
• o1 Mini表现出强的表现,总分为85.19%,而GPT-4在相关性方面表现出色 (88.65%).
• GPT-4 Turbo和o1 Preview获得了最低的整体分数 (76.79%),其中包括错误答案和非伦理问题在内的共同弱点.

结论:

• 人工智能模型显示出有很大的潜力,可以帮助医学教育者创建医学伦理MCQ.
• 专家监督对于确保AI产生的评估内容的准确和适当应用是不可或缺的.
• 该研究强调,需要仔细验证人工智能生成的教育材料.