在中国临床医学研究生考试中ChatGPT的表现:调查研究研究
Peng Yu1, Changchang Fang1, Xiaolin Liu2
1Department of Endocrine, The Second Affiliated Hospital of Nanchang University, Jiangxi, China.
JMIR medical education
|February 9, 2024
概括
人工智能语言模型ChatGPT通过了中国医疗许可证考试,但在开放式问题上遇到了困难. 它显示出高度一致性,并产生了新的见解,尽管存在特定语言的限制,但表明了医疗保健应用的潜力.
科学领域:
- 医疗保健中的人工智能
- 医学中的自然语言处理.
- 医疗教育 技术 技术 医学教育
背景情况:
- 像ChatGPT这样的人工智能 (AI) 和大型语言模型 (LLM) 在医疗保健方面表现有前途.
- 人工智能跨语言的表现未得到充分研究,与训练数据相关的局限性.
- 挑战包括临床标准,医疗教育适应和道德问题 (隐私,偏见).
研究的目的:
- 评估ChatGPT在中国医疗执照考试问题上的表现.
- 评估ChatGPT的临床推理和中文语言能力.
- 探索ChatGPT作为中国医疗专业人员工具的潜力.
主要方法:
- 使用了165个临床医学中文研究生考试问题 (常见,病例分析,多选题).
- 根据最高20%的绩效基准,对ChatGPT (3.5版本) 的评估.
- 评估了对原始和编码问题的准确性,答案一致性和洞察力生成.
主要成果:
- 聊天GPT得分为153.5/300,超过了通过值.
- 总体而言,准确性很低 (31.5%),特别是在开放式问题上 (17%用于案例分析).
- 达到了90%的一致性,100%的正确答案,并为80%的问题提供了洞察力.
结论:
- 聊天GPT达到了通过分数,但在中文开放式医学问题上表现不佳.
- 在中文中表现出高一致性和显著的洞察力生成能力.
- 需要对AI在医疗保健中的特定语言性能变异进行进一步的研究.
