在美国肩膀和肘部外科医生维护认证考试中ChatGPT的表现

科学领域:

• 人工智能在医学中的应用
• 手术教育技术 技术手术教育
• 整形外科手术评估评估

背景情况:

• 大型语言模型 (LLM) 在一般医学考试中得到了评估,但不是外科子专业认证.
• 美国肩膀和肘部外科医生 (ASES) 认证维护 (MOC) 考试是骨科外科医生的关键评估.

研究的目的:

• 为了比较ChatGPT 3.5,GPT-4和在2023年ASES MOC自我评估考试中受过奖学金培训的外科医生的表现.
• 评估LLM在分析骨科信息和回答专业特定问题的能力.

主要方法:

• 聊天GPT 3.5 和 GPT-4 测试了 ASES MOC 纯文本问题.
• 在基于图像的MOC问题上,GPT-4也得到了评估.
• 使用比例z测试,LLM的答案与正确答案和人类表现数据进行了比较.

主要成果:

• 经过奖学金培训的外科医生在基于文本的问题上显著超过了ChatGPT 3.5 (76.4%对60.8%).
• 外科医生在基于图像的问题上也显著超过了GPT-4 (73.9%对53.2%).
• 在基于文本的问题上,人类和GPT-4的表现没有显著差异,但人类在整体上明显优于GPT-4 (75.3%对60.2%).

结论:

• 虽然人类的表现优越,但像ChatGPT这样的LLM证明了处理骨科信息和回答复杂问题的能力.
• 该研究强调了人工智能在外科教育和评估中的潜力.
• 未来深度学习的进步可能会导致LLM与受过奖学金培训的外科医生的考试成绩相美.