在葡萄牙国家居住权准入考试中ChatGPT的表现
Gonçalo Ferraz-Costa1, Mafalda Griné2, Manuel Oliveira-Santos3
1Cardiology Department. Unidade Local de Saúde de Coimbra. Coimbra; Faculdade de Medicina. Universidade de Coimbra. Coimbra; Coimbra Institute for Clinical and Biomedical Research (iCBR). Coimbra. Portugal.
Acta medica portuguesa
|December 20, 2024
概括
在葡萄牙国家居住权准入考试中,ChatGPT 4o显著超过了ChatGPT 3.5. 聊天GPT 4o 的时间.
科学领域:
- 医学教育 医学教育
- 人工智能在医学中的应用
背景情况:
- 葡萄牙国家居留权准入考试是医学毕业生的关键考试.
- 在医疗执照考试中评估AI表现越来越重要.
研究的目的:
- 评估ChatGPT (版本3.5和4o) 在葡萄牙国家居住权准入考试中的表现.
- 在高风险的医疗评估中比较不同版本的ChatGPT功能.
主要方法:
- 从5个考试版本 (2019-2023) 提交了750个多选题,用于ChatGPT 3.5和4o.
- 评估AI生成的答案与官方考试答案对比.
- 在ChatGPT版本和人类候选人之间比较性能指标.
主要成果:
- 聊天GPT 4o获得了127的中位数,明显超过了聊天GPT 3.5的106 (p = 0.048) 的中位数.
- 聊天GPT 4o在两个版本中排名在前1%的得分中,并在所有版本中都超过了人类的平均表现.
- 聊天GPT 4o的表现表明了任何医疗住院专业的资格.
结论:
- 聊天GPT 4o在医学知识评估方面表现出相当大的能力,超过了以前的版本和人类平均表现.
- 像ChatGPT 4o这样的AI语言模型显示出作为医学教育和决策支持工具的潜力.
- 在实践中,人类监督对于确保患者安全和临床准确性至关重要.
