在不同的文化中,ChatGPT和Bard在医疗执照考试中的表现不同:一项比较研究
Yikai Chen1, Xiujie Huang1, Fangjie Yang1
1Department of Gastrointestinal Surgery, The First Affiliated Hospital of Shantou University Medical College, No. 57 Changping Road, Jinping District, Shantou, Guangdong, 515000, China.
与GPT-3.5,GPT-4和谷歌巴德相比,GPT-4o在医疗执照考试中表现优越. 对于国家医疗执照考试的大型语言模型,需要进一步改进.
科学领域:
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
- 医疗教育 技术 技术 医学教育
背景情况:
- 大型语言模型 (LLM) 正在越来越多地探索其在包括医学在内的各种专业领域的潜力.
- 评估高级LLM在高风险的医疗执照考试中的表现对于了解其能力和局限性至关重要.
研究的目的:
- 评估和比较GPT-3.5,GPT-4,GPT-4o和Google Bard在四个主要的医疗许可证检查中的准确性.
- 确定哪个LLM在美国医疗执照考试 (USMLE),专业和语言评估委员会 (PLAB),香港医疗执照考试 (HKMLE) 和国家医疗执照考试 (NMLE) 中表现最高.
主要方法:
- 评估了四个大型语言模型 (LLM) GPT-3.5,GPT-4,GPT-4o和谷歌巴德.
- 通过使用来自USMLE,PLAB,HKMLE和NMLE问题库的多选题来测试LLM.
- 该研究于2023年6月进行,重点关注这些标准化医学测试中的每个LLM的准确率.
主要成果:
- 在大多数USMLE步骤 (例如,步骤2CK中的94.2%) 和其他考试 (例如,PLAB中的93.3%) 中,GPT-4o获得了最高的准确率.
- GPT-4也表现出强的表现,在所有考试中明显超过了GPT-3.5和谷歌Bard.
- 与GPT-4和GPT-4o相比,GPT-3.5和Google Bard的准确率明显较低,特别是在NMLE上.
结论:
- 在医学执照考试的评估模型中,GPT-4o成为表现最好的LLM.
- 不同的LLM和考试的表现有显著差异,国家医学许可考试需要对当前的AI模型进行进一步改进.
更多相关视频
06:28E-Patient Counseling Trial E-PACO: Computer Based Education versus Nurse Counseling for Patients to Prepare for Colonoscopy
Published on: August 1, 2019
13:44Project-Based Learning Guidelines for Health Sciences Students: An Analysis with Data Mining and Qualitative Techniques
Published on: December 9, 2022
相关概念视频
Comparing the Survival Analysis of Two or More Groups
Barriers to Effective Communication II
Cultural barriers:
Differences in values, beliefs, religion, knowledge, and tradition can significantly impact communication. Awareness of nonverbal cues is critical, especially when conversing with a patient from a different culture. What appears appropriate in one culture may be inappropriate in another.
Semantic barriers:
As a result of their tendency to use...
Regression Toward the Mean
Surveys
Assessment of the Gastrointestinal System II: Health Perception Pattern
Health Perception Patterns
Health perception patterns offer valuable insights into a patient's lifestyle habits and how they may impact their GI health. These patterns include:
