在非英语国家医疗执照考试中,ChatGPT-4的表现如何? 在中文语言的评估
Changchang Fang1,2, Yuting Wu1, Wanying Fu1,2
1Department of Endocrine, the Second Affiliated Hospital of Nanchang University, Jiangxi, China.
PLOS digital health
|December 1, 2023
概括
在中国国家医疗执照考试中,ChatGPT表现强,得分超过了通过门. 然而,它的准确性随着开放式问题的出现而下降,而翻译成英语并没有显著改善.
科学领域:
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
- 医疗教育 技术 技术 医学教育
背景情况:
- 像ChatGPT这样的大规模语言模型在医疗保健中显示出希望.
- 人工智能性能取决于语言,英语数据占主导地位.
- 由于数据有限,ChatGPT在中国医疗环境中的有效性需要评估.
研究的目的:
- 评估ChatGPT-4对中国医学知识的熟练程度.
- 在中国环境下评估其在医学教育和临床决策方面的表现.
- 探索语言翻译对人工智能性能的影响.
主要方法:
- 使用来自中国国家医疗执照考试 (NMLE) 的数据集.
- 通过评分,准确性和对原始中文问题的一致性来评估ChatGPT-4的性能.
- 将中文问题翻译成英语,以调查性能变化.
主要成果:
- 聊天GPT-4在NMLE中文考试中获得了442/600分,超过了360/600的通过分数.
- 总体准确率为47.7%,在开放式问题上表现较差.
- 对案例分析问题的一致率为75%;英语翻译没有显著改善 (p=0.728).
结论:
- 对于中国的NMLE来说,ChatGPT-4显示出了显著的精度和可靠性.
- 人工智能在中国医疗环境中的有效性是有希望的,但需要注意开放式问题的准确性.
- 在这种情况下,将问题翻译成英语并不能提高ChatGPT的性能.
