对ChatGPT作为神经外科 triaging 工具的定量评估

科学领域:

• 人工智能在医学中的应用
• 自然语言处理自然语言处理.
• 神经外科 神经外科

背景情况:

• ChatGPT是一个自然语言处理聊天机器人,在医疗工作流程中越来越多地使用.
• 之前的研究证实了ChatGPT能够通过美国神经外科委员会的神经外科检查.
• 没有任何先前的评估评估了ChatGPT在未经预先定义的答案选择的情况下对新型神经外科情景的分类和诊断方面的表现.

研究的目的:

• 评估ChatGPT在确定神经外科情景的新兴性质方面的能力.
• 根据标准咨询信息,评估ChatGPT对神经外科疾病的诊断准确性.

主要方法:

• 30个新的神经外科临床场景向人类参与者 (临床医生,住院医生,医生助理,副实习生) 和生成预训练变压器 (GPT 3.5和GPT 4) 展示.
• 参与者和AI模型的任务是识别紧急病例并提供最可能的诊断.
• 出席的共识作为准确性的基准.

主要成果:

• 在所有神经外科情景的诊断和分组中,GPT 4实现了100%的准确性.
• GPT 3.5显示诊断准确度为92.59%,分拣灵敏度为88.24%,表现优于副实习生,接近住院人员的表现.
• GPT 3.5的分拣特异性为100%,具有100%的正预测值和83.3%的负预测值.

结论:

• GPT 4在高级神经外科住院医生的能力水平上进行神经外科诊断和分类.
• 在GPT 3.5和GPT 4之间观察到显著的性能改善.
• 预计ChatGPT的进步,包括互联网访问和增强的功能,将进一步提高其在神经外科选中的实用性.