人工智能与住院人员在上肢骨科培训内检查问题上的表现的比较

科学领域:

• 医学教育 医学教育
• 人工智能的人工智能
• 整形外科手术 整形外科手术

背景情况:

• 关于人工智能 (AI) 在上肢 (UE) 外科教育中的应用存在有限的研究.
• 评估AI在外科培训中的潜力需要严格的评估.

研究的目的:

• 评估一个新的AI工具ChatGPT在欧盟外科教育问题上的表现.
• 为了比较ChatGPT的表现与手术住院医生在骨科培训内检查 (OITE) 的表现.

主要方法:

• 选择了102个UE OITE问题 (2020-2022年),分类为纯文本或基于媒体的.
• 输入到ChatGPT (3.5版本) 的问题,用于开放式和多选答案.
• 将人工智能生成的答案与OITE评分指南和居民绩效数据进行比较.

主要成果:

• 聊天GPT正确回答了45%的UE OITE问题.
• 纯文本问题的表现为42%,以媒体为基础的问题为44%.
• 研究生第一年居民得分为51%,第五年居民得分为76%.

结论:

• 在所有训练水平上,ChatGPT的准确性低于手术医生.
• 目前的人工智能工具需要进一步开发,以便有效地融入欧盟外科教育.