将ChatGPT-3.5-Turbo,ChatGPT-4和Google Bard的表现与伊朗学生在实习前综合考试中的表现进行比较

科学领域:

• 人工智能在医学中的应用
• 医疗教育 技术 技术 医学教育
• 自然语言处理自然语言处理.

背景情况:

• 人工智能语言模型越来越多地被用于教育应用.
• 在医学等专业领域评估AI性能至关重要.
• 实习前的医学考试提供了对医学知识的标准化评估.

研究的目的:

• 评估AI语言模型 (ChatGPT-3.5,GPT-4,Google Bard) 在波斯语和英语医学考试中的表现.
• 将AI性能与伊朗医学学生进行比较.
• 确定最有效的AI模型用于医学知识评估.

主要方法:

• 使用了三套波斯语实习前的医学考试及其英语翻译.
• 在 ChatGPT-3.5,GPT-4 和 Google Bard 两个语言中进行了考试,不包括视觉内容.
• 将AI模型的分数与伊朗医学学生的分数进行了比较.

主要成果:

• 在不同随机级别的波斯语和英语考试中,GPT-4获得了最高分.
• 谷歌巴德在波斯语考试中得分低于平均水平,但在可以接受的范围内.
• 聊天GPT-3.5在所有波斯语和英语医学考试中都失败了.
• 虽然GPT-4的成绩优于学生,但AI模型和学生之间的总体差异在英语考试中没有统计学意义.

结论:

• 在这项研究中,GPT-4对医学教育和评估具有显著的潜力,在本研究中表现优于其他AI模型和人类学生.
• 不同的人工智能语言模型之间存在性能变化.
• 需要进一步的研究来探索AI在医疗应用中的全部能力和局限性.