对使用ChatGPT从临床笔记中提取结构化数据的批判性评估
Jingwei Huang1, Donghan M Yang1, Ruichen Rong1
1Quantitative Biomedical Research Center, Peter O'Donnell School of Public Health, University of Texas Southwestern Medical Center, 5323 Harry Hines Blvd, Dallas, TX, USA 75390, USA.
聊天GPT有效地从临床笔记中提取结构化数据,优于肺癌和儿科骨髓瘤的传统方法. 这种大型语言模型方法减少了手动注释和医疗数据处理模型培训的需要.
科学领域:
- 自然语言处理 (NLP) 是一种自然语言处理.
- 人工智能在医学中的应用
- 计算病理学计算病理学
背景情况:
- 临床笔记分析的传统NLP方法需要广泛的特定任务的注释和模型培训.
- 非结构化的临床数据对大规模研究和有效的临床决策构成重大障碍.
研究的目的:
- 评估ChatGPT,一个大型语言模型 (LLM) 在从自由文本医疗笔记中提取结构化信息的有效性.
- 评估ChatGPT的性能与专家策划的病理学报告中的数据对比,而无需具体任务培训.
主要方法:
- 开发了一个基于LLM的新工作流程,使用快速工程和OpenAI的API.
- 在肺癌 (1000多份报告) 和儿科骨肉瘤 (191份报告) 病理报告的数据集上评估了ChatGPT-3.5.
- 结果与专家策划的结构化数据进行了比较,以确定准确性和识别错误分类模式.
主要成果:
- 聊天GPT-3.5在肺癌的病理分类中实现了89%的准确性,超过了传统的NLP方法.
- 对于儿科骨髓瘤,ChatGPT-3.5表现出高精度:98.6%的等级和100%的边缘状态.
- 错误分类主要与专业术语和TNM阶段解释有关;性能随着时间的推移保持稳定.
结论:
- 聊天GPT提供了一种可行和高效的方法,可以将大量的临床笔记处理成结构化数据.
- 这种LLM驱动的方法显著减少了手动注释和模型培训的需求,加速了数据的利用.
- 这些发现强调了LLM在转换非结构化医疗数据方面的潜力,支持医学研究和临床决策支持系统.
更多相关视频
09:00TBase - an Integrated Electronic Health Record and Research Database for Kidney Transplant Recipients
Published on: April 13, 2021
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
相关概念视频
Methods of Documentation III: PIE
Data Collection III
The principles to begin the physical assessment include conducting a comprehensive or problem-related history in a quiet, well-lit room, emphasizing privacy and comfort for the...
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...
Methods of Documentation IV: Focus Charting
It typically involves three columns for recording information:
Data Collection II
Data Collection I
