聊天GPT基础和临床医学科学知识评估:多选题问题基于考试的绩效评估
Sultan Ayoub Meo1, Abeer A Al-Masri1, Metib Alotaibi2
1Department of Physiology, College of Medicine, King Saud University, Riyadh 11461, Saudi Arabia.
这项研究评估了人工智能聊天机器人生成预训练变压器 (ChatGPT) 在医学科学多选择题 (MCQ) 的表现. 聊天GPT获得了72%的整体得分,表明对医疗教育支持的知识令人满意.
科学领域:
- 医学教育 医学教育
- 医疗保健中的人工智能
- 医学科学 医学科学 医学科学
背景情况:
- 人工智能 (AI) 聊天机器人的快速发展,如聊天机器人生成预训练变压器 (ChatGPT),在包括教育和医疗保健在内的各个领域带来了新的机遇和挑战.
- 虽然ChatGPT表现出广泛的知识,但其在医学科学专业领域内的特定智力能力和表现仍然未得到充分探索.
- 需要评估人工智能在医学教育中的潜力,特别是其对基础和临床医学科学的理解.
研究的目的:
- 在基础和临床医学科学中调查ChatGPT的知识水平.
- 评估ChatGPT在与医学教育相关的多选择题 (MCQ) 的表现.
- 确定像ChatGPT这样的AI工具对医学检查系统和教育框架的潜在影响.
主要方法:
- 从医学教科书和大学考试中开发了一个由100个基于场景的多选题 (MCQ) 组成的问题库,涵盖基础和临床医学科学.
- 每个MCQ都进行了相关性审查,从基础科学中随机选择了50个问题,从临床科学中随机选择了50个问题.
- 为了避免偏见,ChatGPT通过手动输入每一个MCQ进行了测试,以根据预先确定的答案密钥进行评分.
主要成果:
- 聊天GPT尝试了所有100个MCQ,在基础医学科学中得分为37/50 (74%),在临床医学科学中得分为35/50 (70%).
- 在两个领域中,ChatGPT的整体性能为72/100 (72%).
- 在答案中,人工智能展示了令人满意的理解和解释能力.
结论:
- 聊天GPT获得了令人满意的分数,表明了在基础和临床医学科学方面的显著知识水平.
- 这些发现表明,ChatGPT有可能成为医学学生和教师的宝贵工具.
- 在医学科学和教育的框架内,ChatGPT代表了一个潜在的创新,需要进一步研究其应用.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
06:28E-Patient Counseling Trial E-PACO: Computer Based Education versus Nurse Counseling for Patients to Prepare for Colonoscopy
Published on: August 1, 2019
相关概念视频
Assessment of the Gastrointestinal System II: Health Perception Pattern
Health Perception Patterns
Health perception patterns offer valuable insights into a patient's lifestyle habits and how they may impact their GI health. These patterns include:
Multiple Comparison Tests
It would be easy to compare two samples using a significance alpha level of 0.05. In other words, there is only one sample pair to be compared. However, it would be difficult to identify a significantly different sample if the number...
Clinical Trials
There are four phases in a clinical trial. A phase one...
Preclinical Development: Overview
Clinical Trials: Overview
Assessment of the Gastrointestinal System I: Subjective Data
Health History
The initial step in assessing the GI system is obtaining a comprehensive health history. This includes inquiring about the patient's history or presence of problems...
