聊天GPT作为神经分数计算器:分析一个大型语言模型在各种神经学考试评分尺度上的表现
Tse Chiang Chen1, Emily Kaminski2, Laila Koduri2
1Department of Neurology, Tulane University School of Medicine, New Orleans, Louisiana, USA.
World neurosurgery
|August 27, 2023
概括
在使用格拉斯哥昏迷量表 (GCS),内出血 (ICH) 和亨特和赫斯 (H&H) 等量表来评估神经学检查方面,ChatGPT显示出潜力. 然而,它的准确性随着迅速复杂性的变化而变化,这表明临床使用的局限性.
科学领域:
- 人工智能在医学中的应用
- 医疗信息学 医疗信息学
- 自然语言处理自然语言处理.
背景情况:
- 一个大型语言模型ChatGPT正在被用于医学应用.
- 神经学评估尺度对于患者的评估至关重要.
- 本研究调查了ChatGPT在应用这些尺度中的表现.
研究的目的:
- 评估ChatGPT在评估患者神经学检查中的准确性和可靠性.
- 为了量化ChatGPT应用格拉斯哥昏迷量表 (GCS),内出血 (ICH) 评分和亨特和赫斯 (H&H) 分类的错误.
- 为了确定快速复杂性对ChatGPT性能的影响.
主要方法:
- 开发了20个患者测试案例,并进行了详细的神经学检查.
- 创建了越来越复杂的测试案例的变化.
- 评估了ChatGPT的可重复性和量化错误 (GCS,ICH和H&H分数的平均错误率 - AER,错误数量 - AME).
- 用于每个评估尺度的特定提示.
主要成果:
- 对于GCS,基本情况的平均错误率 (AER) /错误数量 (AME) 是10%/0.150.
- 准确性随着复杂性而下降;复杂案例的AER达到45%.
- 在H&H分数中,AER/AME为13%/0.13,而ICH分数为27.5%/0.325.
- 简单的提示导致了70%的更高错误率.
结论:
- 聊天GPT展示了评估神经检查的基础能力,使用已建立的尺度 (GCS,ICH,H&H).
- 限制包括可变的准确性和具有复杂或模糊输入的"幻觉"的可能性.
- 需要进一步开发,但ChatGPT对未来的医疗应用有希望.
