聊天GPT在骨科培训考试 (OITE) 的表现:没有比PGY3居民更好?

科学领域:

• 医疗教育中的人工智能
• 整形外科手术培训班 整形外科手术培训班
• 知识评估工具 知识评估工具

背景情况:

• 整形外科培训内检查 (OITE) 绩效对于评估住院知识和指导教育策略至关重要.
• ChatGPT是一个强大的AI大语言模型 (LLM),在知识检索和类似人类的对话方面表现出能力,先前在医学和法律考试中取得了成功.
• 作为骨科住院医生的教学工具,ChatGPT的潜力及其在OITE上的表现仍然未被探索.

研究的目的:

• 评估ChatGPT在回答骨科培训内检查 (OITE) 问题的准确性.
• 将ChatGPT的OITE表现与当地和国家骨科住院医生的五年 (2018-2022) 的表现进行比较.
• 评估人工智能语言模型作为骨科实习生教学资源的当前实用性.

主要方法:

• 聊天GPT从OITE (2018-2022) 管理了200个随机选择的问题.
• 以图像为基础的问题被补充到托管图像的链接.
• 使用统计测试 (Wilcoxon,Kruskal-Wallis与Dunn-Sidak校正) 将ChatGPT的正确答案百分比与每个研究生年级 (PGY) 的机构和国家居民绩效数据进行了比较.

主要成果:

• 聊天GPT显著低于全美全方位/ACGME认可的整形外科住院医生的全国平均水平 (p<0.01).
• 在PGY3,PGY4和PGY5类的当地居民在OITE上显著超过了ChatGPT (p<0.05).
• 聊天GPT的表现因年而异,在2021年达到顶峰 (47.3%),在2020年达到最低 (35.3%),在五年内没有显著差异 (p>0.05).

结论:

• 在统计学上,ChatGPT的OITE表现相当于当地机构的初级居民 (PGY1-2),但低于全国居民平均水平 (PGY1-5).
• 人工智能图像解释的当前局限性可能会影响性能,这表明未来代中有改进的潜力.
• 像ChatGPT这样的生成人工智能工具为继续医学教育和居民评估提供了广泛的潜力,尽管目前的准确性有限.