在台湾国家药剂师执照考试中ChatGPT-3.5和ChatGPT-4的表现:比较评估研究
Ying-Mei Wang1,2,3,4, Hung-Wei Shen1,2,4, Tzeng-Ji Chen5,6,7
1Department of Medical Education and Research, Taipei Veterans General Hospital Hsinchu Branch, 81, Section 1, Zhongfeng Road, Zhudong, Hsinchu, 310, Taiwan, 886 03-5962134 ext 127.
JMIR medical education
|January 26, 2025
概括
在台湾国家药剂师执照考试中,GPT-4显著超过了GPT-3.5,特别是在基本科目中. 这突出了GPT-4的重点.
科学领域:
- 人工智能在药房教育中的应用
- 专业许可中的大型语言模型 (LLM)
- 药剂师能力评估药剂师能力评估
背景情况:
- 在2022-2023年,OpenAI发布了先进的AI模型ChatGPT-3.5和GPT-4.
- GPT-3.5已经在医疗执照考试中表现出熟练,但GPT-4提供了增强的能力.
- 在专业的专业考试中评估AI的表现对于理解它们的实用性至关重要.
研究的目的:
- 评估GPT-3.5和GPT-4在台湾国家药剂师执照考试中的比较疗效.
- 确定这些AI模型在临床药房实践和教育中的潜在应用.
- 在考试中识别各种类型问题的绩效差异.
主要方法:
- 手动输入台湾国家药剂师执照考试的非图形考试问题到GPT-3.5和GPT-4.
- 对模型反应的分析,以确定基本和临床学科的答案准确性.
- 问题分类 (计算,情境) 以比较人工智能模型之间的性能变化,使用Excel和R软件的统计分析.
主要成果:
- 与GPT-3.5 (59.1%) (P<.001) 相比,GPT-4的整体准确率 (72.9%) 显著更高.
- GPT-4在基本受试者中表现优异 (73.4%对53.2%;P<.001),在临床受试者中准确度差异较小.
- 在计算和情境问题类型方面,GPT-4的表现优于GPT-3.5.
结论:
- 在台湾国家药剂师执照考试中,GPT-4显示出比GPT-3.5更高的准确性,特别是在基本科目中.
- 虽然GPT-4具有临床药学和教育的潜力,但其当前的局限性需要谨慎实施.
- 未来的研究应该专注于快速改进,模型稳定性,与医疗数据库集成,以及改进评估问题设计.
关键词:
在这里,我们可以看到AIAIAI.聊天GPT 聊天 在GPT 聊天聊天机器人 聊天机器人在 GPT-4 中使用.台湾 台湾 台湾 台湾台湾国家药剂师执照考试人工智能的人工智能是人工智能.聊天生成式预训练过的变压器教育测量的教育测量.评估和比较研究研究.生成型的人工智能学习模式学习模型机器学习是机器学习.医疗数据库的医疗数据库医疗决策中的医疗决策医学教育 医学教育药剂师 药剂师 药剂师 药剂师药房 药房 药房 药房药房许可证 药房许可证进行统计分析,统计分析.更多相关视频
07:31A Computerized Functional Skills Assessment and Training Program Targeting Technology Based Everyday Functional Skills
Published on: February 13, 2020
6.7K
09:03Parallel Interrogation of β-Arrestin2 Recruitment for Ligand Screening on a GPCR-Wide Scale using PRESTO-Tango Assay
Published on: March 10, 2020
12.1K
