验证GPT-4用于临床事件分类:与ICD代码和人类审查员进行比较分析
Yichen Wang1, Yuting Huang2, Induja R Nimma3
1Department of Medicine, Perelman School of Medicine, University of Pennsylvania, Philadelphia, Pennsylvania, USA.
生成式预训练型变压器4 (GPT-4) AI在分类胃肠道出血方面显示出高准确度,优于ICD代码和匹配人类审查员. 这种人工智能为临床事件分类提供了更快,更具成本效益的替代方案.
科学领域:
- 人工智能在医学中的应用
- 临床信息学 临床信息学
- 自然语言处理自然语言处理.
背景情况:
- 有效的临床事件分类对于研究和质量改善至关重要.
- 目前用于分类临床事件的方法存在局限性.
- 像生成预训练变压器4 (GPT-4) 这样的先进人工智能模型对于这个任务的潜力尚未得到充分探索.
研究的目的:
- 评估GPT-4在分类胃肠道 (GI) 出血事件中的性能.
- 为了比较GPT-4的分类准确度与人类审查和国际疾病分类 (ICD) 代码.
- 评估GPT-4在临床事件分类中的效率和成本效益.
主要方法:
- 使用GPT-4模型,从200份医疗出院摘要中对胃肠道出血进行分类.
- 通过准确性,灵敏性和特异性来评估性能.
- 结果与手动医生审查和基于ICD代码的系统进行了比较.
主要成果:
- 在识别胃肠道出血方面,GPT-4的准确率达到了94.4%,远远超过ICD代码 (63.5%).
- GPT-4的准确性与人类审查者 (98.5%和90.8%) 相似.
- GPT-4以21.2美元的成本在12.7分钟内处理数据,而人类审查员的时间为8-9小时.
结论:
- GPT-4为临床事件分类提供了一种可靠,高效和具有成本效益的替代方案.
- 人工智能模型超越了ICD编码,并与人类专家的性能竞争.
- 实施GPT-4可以提高临床研究和质量审计的准确性和细节性.
更多相关视频
06:55Inverse Probability of Treatment Weighting Propensity Score using the Military Health System Data Repository and National Death Index
Published on: January 8, 2020
12:18A Machine Learning Approach to Design an Efficient Selective Screening of Mild Cognitive Impairment
Published on: January 11, 2020
相关概念视频
Diagnostic and Statistical Manual of Mental Disorders (DSM)
Receiver Operating Characteristic Plot
Data Validation
Nursing assessment guides are generally based on holistic models rather than medical...
Clinical Trials
There are four phases in a clinical trial. A phase one...
Documentation of Nursing Diagnosis
In some settings, data-driven computerized decision support systems are in place, allowing for more accurate nursing diagnoses. The database within one of these systems includes diagnostic labels defining characteristics, activities, and indicators for nursing. A nurse enters...
Dipeptidyl Peptidase 4 Inhibitors
