聊天GPT获得美国委员会在手术手术方面的认证

科学领域:

• 医学教育 医学教育
• 人工智能在医学中的应用
• 外科检查评估的评估

背景情况:

• 人工智能 (AI) 在医疗保健方面表现有前途,但在专业医疗检查中表现不一致.
• 之前对人工智能在骨科和手术检查中的评估结果各不相同.

研究的目的:

• 评估ChatGPT-4通过美国手术认证考试的能力.
• 评估AI在高风险的外科委员会考试中的表现.

主要方法:

• 聊天GPT-4接受了2019年美国手术协会 (ASSH) 自我评估考试 (200个问题).
• 审查了基于媒体的问题,8个问题由于依赖视频或缺乏合理化而被排除在外.
• 使用描述性统计数据分析了ChatGPT-4的性能,将其与医生得分进行比较.

主要成果:

• 聊天GPT-4回答了192个问题,总的准确率为61.98%.
• 对于非媒体问题 (65.83%) 的表现略高于基于媒体的问题 (55.56%).
• 聊天GPT-4在"血管" (81.82%) 的部分表现出色,但在"骨和关节" (48.54%) 和"神经肌肉" (56.25%) 的部分得分较低.

结论:

• 聊天GPT-4获得了值得注意的分数,这表明在处理专门的医学检查内容方面具有显著的能力.
• 人工智能性能受到检查结构和语言的影响,目前复杂的临床判断存在局限性.
• 人工智能显示出在医学教育和决策中作为辅助工具的潜力,但不能取代手术等细微领域的专家专业知识.