探索人工智能在土耳其骨科进展考试中的作用

科学领域:

• 医疗教育中的人工智能
• 整形外科手术培训 整形外科手术培训
• 临床决策支持系统 临床决策支持系统

背景情况:

• 人工智能 (AI) 模型越来越多地被探索,以了解它们在医学教育中的实用性.
• 评估AI在专业医学检查中的表现对于了解它们对培训和患者护理的潜在影响至关重要.
• 土耳其专业化培训和发展考试 (UEGS) 为整形 residents提供了一个标准化的评估.

研究的目的:

• 在UEGS上比较ChatGPT-3.5,ChatGPT-4和Gemini的性能.
• 评估这些人工智能模型在医学教育中的实用性.
• 通过加强医疗培训,确定AI在改善患者护理方面的潜力.

主要方法:

• 从9个骨科子专业中对UEGS (2018-2023) 的1000个真假问题进行了回顾性分析.
• 人工智能模型 (ChatGPT-3.5,ChatGPT-4,Gemini) 被独立查询,并为每个问题重新启动模型.
• 绩效通过净分数进行评估,与土耳其整形外科和创伤学教育委员会 (TOTEK) 数据库中的骨科住院分数进行比较,使用包括ROC分析在内的统计分析.

主要成果:

• 在UEGS上的精度方面,ChatGPT-4显著超过了ChatGPT-3.5和Gemini (P < .001).
• 聊天GPT-4实现了最高的整体准确性 (特定子专业的95%),并在基本和一般骨科和脚手术方面表现出色.
• 接收器操作特征分析表明,对于ChatGPT-4 (P=.002),问题长度较短与准确度更高相关,它也在基本/一般骨科和创伤方面表现优于住院医生.

结论:

• 聊天GPT-4展示了作为医学教育和骨科临床决策的宝贵工具的巨大潜力.
• 人工智能技术,特别是像ChatGPT-4这样的先进模型,在加强医疗培训和潜在地改善患者护理方面表现有前途.
• 医学中人工智能的持续评估和改进对于最大限度地提高其教育和临床效益至关重要.