人与人工智能:聊天GPT-4表现优于Bing,Bard,聊天GPT-3.5和临床化学中的人类多选题
Malik Sallam1,2,3, Khaled Al-Salahat1,3, Huda Eid3
1Department of Pathology, Microbiology and Forensic Medicine, School of Medicine, The University of Jordan, Amman, Jordan.
Advances in medical education and practice
|September 25, 2024
概括
人工智能 (AI) 聊天机器人在医学实验室科学考试中表现出色. 聊天GPT-4表现出色,而其他AI模型的表现高于平均水平,突出了它们在医疗保健教育中的潜力.
科学领域:
- 医疗保健教育 医疗保健教育
- 人工智能在医学中的应用
- 医学实验室科学 医学实验室科学
背景情况:
- 人工智能 (AI) 聊天机器人展示了先进的语言能力,在医疗保健教育和实践中具有潜在的应用.
- 评估AI在不同学科的表现对于确定优势和局限性至关重要.
- 这项研究评估了人工智能聊天机器人的性能与医学实验室科学研究生相比.
研究的目的:
- 评估ChatGPT (GPT-3.5和GPT-4),Bing和Bard在医学实验室科学中的表现.
- 为了比较人工智能聊天机器人的表现与人类研究生.
- 分析不同认知水平 (记住,理解,分析,应用) 的AI性能.
主要方法:
- 研究设计遵循了METRICS检查清单,用于医疗保健中的AI.
- 使用了60个临床化学多选择题 (MCQ) 的数据集.
- 使用Bloom的分类学分类MCQ;使用修改后的CLEAR工具评估AI内容质量.
主要成果:
- GPT-4获得了最高的分数 (0.90 ± 0.30),超过了学生 (0.68 ± 0.23).
- 聊天GPT-4的表现被评为"优秀",而GPT-3.5,Bing和Bard的表现被评为"平均以上".
- 人工智能模型在较低的认知领域 (记住,理解) 与较高的领域 (应用,分析) 相比表现明显更好.
结论:
- 聊天GPT-4在研究生级临床化学考试中表现出色.
- 人工智能聊天机器人在专业医疗领域的显著表现值得我们考虑.
- 该研究建议重新评估MCQ在高等教育中的使用,因为AI可能被滥用和过度依赖.
更多相关视频
06:09P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation
Published on: September 8, 2023
518
07:02A Computerized Test Battery to Study Pharmacodynamic Effects on the Central Nervous System of Cholinergic Drugs in Early Phase Drug Development
Published on: February 11, 2019
9.8K
