[ChatGPT和德国眼科医生考试:一个评价]
Rémi Yaïci1, M Cieplucha2, R Bock2
1Klinik für Augenheilkunde, Medizinische Fakultät, Universitätsklinikum Düsseldorf, Heinrich-Heine Universität Düsseldorf, Moorenstr. 5, 40225, Düsseldorf, Deutschland. remi.yaici@med.uni-duesseldorf.de.
Die Ophthalmologie
|May 27, 2024
概括
像ChatGPT 4.0这样的人工智能 (AI) 在医学考试中表现有前途,在15个眼科科目中通过了12个. 然而,变量的正确性和缺陷限制了其当前的临床应用.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医学教育 医学教育
背景情况:
- 人工智能 (AI) 在医学上越来越重要.
- 聊天GPT 4.0是一个著名的AI语言模型.
- 评估AI的医疗应用是至关重要的.
研究的目的:
- 评估ChatGPT 4.0能够回答德国眼科委员会考试的开放式问题的能力.
- 确定AI是否能够满足医学专家培训的标准.
主要方法:
- 从15个眼科主题中选择了10个非图像问题.
- 指示ChatGPT 4.0作为一个董事会认证的眼科医生.
- 人类专家评估了答案的正确性,相关性和连贯性,并赋予了分数.
主要成果:
- 聊天GPT 4.0将通过15个主题中的12个.
- 总的来说,正确答案为53.3%,具有显著的主题特定的变化 (例如,百分之百的耳膜炎,百分之二十的光学).
- 回答显示了高度的主题匹配 (70%) 和内部一致性 (71%).
结论:
- 聊天GPT 4.0 显示医疗教育的承诺,通过大多数考试主题.
- 性能变化和缺陷凸显了安全临床应用目前的局限性.
- 在人工智能可靠地用于患者护理之前,需要进一步开发.
