验证一个零射击学习自然语言处理工具,以促进尿道学研究的数据抽象
Basil Kaufmann1, Dallin Busby2, Chandan Krushna Das2
1Milton and Carroll Petrie Department of Urology, Icahn School of Medicine at Mount Sinai, New York, NY, USA; Department of Urology, University Hospital Zurich, University of Zurich, Zurich, Switzerland.
European urology focus
|January 26, 2024
概括
一个新的零射击学习自然语言处理 (NLP) 工具显著加快了从泌尿器官电子健康记录中提取数据的速度. 这种人工智能工具表现出高精度,为需要从非结构化文本中提取信息的研究人员提供了可概括的解决方案.
科学领域:
- 泌尿学研究的研究.
- 医疗信息学医学信息学
- 医疗保健中的人工智能
背景情况:
- 泌尿学研究依赖于从非结构化的电子健康记录 (EHR) 中提取数据.
- 现有的自然语言处理 (NLP) 工具通常需要针对特定任务的培训,这限制了它们的通用性.
- 有效和准确的数据抽象对于推动泌尿病学研究至关重要.
研究的目的:
- 开发和验证一个零射击学习NLP工具,用于泌尿病学数据抽象.
- 在速度和准确性方面评估工具与人类抽象器的性能.
- 为从非结构化的EHR文本中提取信息提供可通用的AI解决方案.
主要方法:
- 使用OpenAI的GPT-3.5模型开发一个零射击学习NLP工具.
- 将NLP工具与三个医生进行比较,从199份急性前列腺切除病理学报告中抽象出14个变量.
- 在向量化和扫描 (OCR) 报告格式上的性能评估,以评估光学字符识别的影响.
主要成果:
- 在NLP工具抽象数据显著比人类抽象器更快 (12-15秒比93秒每报告,p<0.001).
- 该工具实现了高精度 (向量化报告94.2%,扫描报告88.7%),证明了与人类抽象器无劣.
- 扫描报告的准确性略低,但仍然不低于三分之二的人类抽象者.
结论:
- 开发的零射击学习NLP工具为泌尿病学数据抽象提供了高度通用和准确的方法.
- 这种人工智能工具可以通过自动化从非结构化EHR文本中提取数据来显著加速研究.
- 一个开放式访问版本可用,使泌尿学研究社区能够立即使用.
