与成人重建外科医生相比,探索ChatGPT在骨科关节整形问题中的有效性

科学领域:

• 人工智能在医学中的应用
• 整形外科教育教育 整形外科教育
• 医学知识评估 医学知识评估

背景情况:

• 像ChatGPT (聊天生成预训练变压器) 这样的大型语言模型越来越多地被用于医疗应用.
• 在骨科手术,特别是关节整形手术中,ChatGPT的具体实用性需要进一步研究.
• 这项研究评估了ChatGPT的性能与人类专家对关节塑性知识的评估.

研究的目的:

• 评估ChatGPT (版本4) 在回答关节整形相关问题的准确性.
• 将ChatGPT的表现与成人重建研究员和高级主治整形外科医生的表现进行比较.
• 根据问题类型 (仅基于文本与基于图像) 分析性能变化.

主要方法:

• 来自OrthoBullets的299个关节整形问题被用于评估ChatGPT 4.
• 性能与成年重建研究员和临床外科医生进行了比较.
• 为了进行统计比较,使用了奇平方测试,P ≤ .05被认为是显著的.

主要成果:

• 聊天GPT实现了66.9%的准确性,明显低于同学 (84.3%) 和出席 (85.3%).
• 在各个问题类别中,表现没有显著差异.
• 与以图像为基础的问题相比,ChatGPT在仅以文本为基础的问题上表现更好.

结论:

• 在关节塑造知识评估中,ChatGPT的表现低于经验丰富的整形外科医生.
• 像ChatGPT这样的AI工具可以补充医学教育,但不能取代必要的临床判断.
• 需要进一步的研究来优化和验证医疗培训和患者护理中的AI应用.