提示对大型语言模型性能的影响:ChatGPT-4在2023年手术自我评估考试中的表现

科学领域:

• 人工智能的人工智能
• 医学教育 医学教育
• 整形外科手术 整形外科手术

背景情况:

• 像ChatGPT这样的大型语言模型 (LLM) 是精通文本解释和响应的AI程序.
• 研究已经评估了医学考试上的LLM绩效.
• GPT-4的图像识别能力与骨科手术考试有关,但其学习潜力尚不清楚.

研究的目的:

• 分析ChatGPT-4在2023年手术维护认证 (MOC) 自我评估考试 (SAE) 的表现.
• 为了评估是否提示GPT-4与以前的考试数据提高了其性能.
• 假设GPT-4会通过考试,并在提示后显示更好的成绩.

主要方法:

• GPT-4在2023年手术SAE.的基于文本和图像的问题上进行了测试.
• 然后,GPT-4得到了五个之前的SAE (2014-2020) 的问题,答案和解释.
• 在提示和非提示测试中比较了性能.

主要成果:

• 提示和非提示的GPT-4都超过了50%的通过分数.
• 未被提示的GPT-4得分为67%,在提示后提高到71% (p=0.51).
• 基于图像的问题在提示后 (p=0.25) 略有改善,从56%提高到66%,而仅基于文本的问题没有显著变化.

结论:

• GPT-4可以分析骨科信息,并超过手术SAE的通过门.
• 在之前的考试中提醒并没有产生统计学上显著的绩效改善.
• 在手术中,LLM显示出作为测试模拟和知识检查的未来工具的潜力.