评估ChatGPT在儿科临床决策支持方面的能力:使用KIDMAP的Rasch分析对儿科医生的比较研究
Hsu-Ju Kao1, Tsair-Wei Chien2, Wen-Chung Wang3
1Department of Internal Medicine, Chi Mei Medical Center, Chiali, Taiwan.
Medicine
|June 23, 2023
概括
聊天GPT显示了作为临床决策支持工具在儿科的潜力,获得了C等级. 需要进一步的研究来完善其在儿科临床决策中的使用.
科学领域:
- 人工智能在医学中的应用
- 临床决策支持系统 临床决策支持系统
- 儿科医疗保健 儿科医疗保健
背景情况:
- 像ChatGPT这样的大型语言模型 (LLM) 越来越多地被用于临床决策支持 (CDS).
- 关于ChatGPT在儿科临床决策中的有效性存在有限的研究.
- 这项研究评估了ChatGPT在常见儿科临床症状提示上的表现.
研究的目的:
- 评估ChatGPT作为儿科CDS工具的潜力.
- 为了确定与正常样本相比,ChatGPT的整体性能等级.
- 分析两个儿科医生之间的评估差异.
主要方法:
- 评估了对8种常见的儿科临床症状提示的ChatGPT反应.
- 两位儿科医生独立对ChatGPT的答案进行了评分,使用0-100级别,转换为5个顺序类别.
- 分析使用了拉什评级规模模型和视觉展示 (赖特地图,KIDMAP).
主要成果:
- 聊天GPT的整体表现获得了C等级,平均logit分数为-0.89和0.90.
- 在两位儿科医生之间观察到绩效评估的显著差异 (P < .05).
- 该研究发现儿科医生如何评估ChatGPT的反应存在差异.
结论:
- 聊天GPT证明了作为一个CDS工具的可行性,用于常见的儿科症状.
- 这些发现表明,ChatGPT有可能改善儿科的临床工作流程和决策.
- 建议进行进一步的研究,以完善ChatGPT在儿科护理中的应用,以获得更好的患者结果.
