评估ChatGPT的骨科实习培训考试的表现和在现场中的适用性

科学领域:

• 人工智能在医学中的应用
• 医疗教育 技术 技术 医学教育
• 整形外科手术培训 整形外科手术培训

背景情况:

• 聊天GPT展示了类似人类的响应能力,但其在骨科的应用仍未得到充分探索.
• 这项研究调查了ChatGPT作为骨科手术培训资源的实用性.

研究的目的:

• 评估ChatGPT在骨科实习培训考试 (OITE) 的表现.
• 评估ChatGPT的决策过程和推理.
• 确定采用ChatGPT在骨科手术中的可行性.

主要方法:

• 聊天GPT-3.5在三个OITE考试中的多选题上进行了测试.
• 问题按骨科学科领域分类.
• 将ChatGPT的分数和理由与住院医生的表现和测试者解释进行了比较.

主要成果:

• 在OITE上,ChatGPT-3.5获得了55.8% (2020年),47.7% (2021年) 和54% (2022年) 的分数.
• 在94.2%的正确答案中提供了一致的逻辑,但只有78.2%的错误答案.
• 性能因主题而异,在基础科学和体育方面准确度更高.

结论:

• 聊天GPT-3.5的性能与PGY-1居民水平保持一致.
• 虽然展示了一些理解,但其当前的能力不足以在骨科手术中全面使用.
• 人工智能在需要事实回忆的领域显示出潜力,例如基础科学和体育主题.