评估第三波生成性AI:在2024年骨科培训内考试中基于文本问题的高级模型的性能

科学领域:

• 医疗教育 技术 技术 医学教育
• 人工智能在医学中的应用
• 整形外科手术培训班 整形外科手术培训班

背景情况:

• 生成型人工智能 (AI) 越来越多地被学习者在教育环境中采用.
• 人工智能模型在专业医疗检查中的表现尚未得到充分证实.
• 评估人工智能能力对于理解它们在骨科教育中的作用至关重要.

研究的目的:

• 评估最近的生成人工智能模型在2024年美国骨科外科医生学院骨科内训考试中的表现.
• 确定这些人工智能模型在骨科教育中的潜在应用.
• 为了比较人工智能模型的性能与骨科住院医生的性能.

主要方法:

• 11个先进的人工智能模型使用了2024年整形外科培训考试的119个字面问题进行了测试.
• 模型输出被评估为正确性,推理时间,引用准确性和信心.
• 性能与检查的最低通过标准和骨科住院医生 (PGY5) 性能进行了比较.

主要成果:

• 在11个AI模型中,有10个超越了最低合格标准 (67.7%).
• 8个人工智能模型的表现超过了PGY5居民的平均表现.
• OpenAI的o1Pro与深度研究实现了最高的准确性 (90.8%),超过PGY5居民的17.8%.

结论:

• 先进的人工智能模型在骨科培训考试中表现出显著的熟练程度,许多人超过了高级住院人员的表现.
• 人工智能模型显示出作为骨科补充教育工具的承诺,但临床推理和成像解释的局限性仍然存在.
• 需要进一步的研究,以优化AI在骨科培训计划中的整合.