大型语言模型可以有效地从医疗免费文本退学摘要中提取中风和再流的审计数据
Rudy Goh1, Benjamin Cook2, Brandon Stretton1
1Lyell McEwin Hospital, Elizabeth Vale, SA 5112, Australia; SA Health, Adelaide, SA 5000, Australia; University of Adelaide, Adelaide, SA 5005, Australia; Royal Adelaide Hospital, Adelaide, SA 5000, Australia.
概括
大型语言模型 (LLM) 在有效地从医疗记录中提取中风审计数据方面表现有前途. 这项试点研究显示了高准确度,表明LLM可以简化医疗保健审计.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 临床审计 临床审计
背景情况:
- 医疗保健审计对于提高质量至关重要,但数据密集型.
- 大型语言模型 (LLM) 为自动化数据提取提供了潜在的解决方案.
- 这项研究探讨了LLM对中风审计数据收集的可行性.
研究的目的:
- 评估使用大型语言模型 (LLM) 来提取中风审计数据的可行性.
- 为了评估与人类收集的数据相比,LLM提取的数据的准确性.
- 确定LLMs在提高医疗保健审计效率方面的潜力.
主要方法:
- 从中风入院的退院摘要的回顾性收集.
- 部署本地LLM (LLaMA3) 来提取例行审计数据.
- 将LLM提取的数据与现有的全州注册表数据进行比较,并对差异进行手动审查.
主要成果:
- 该LLM提取了16名患者的144个数据点.
- 该LLM实现了93.8%的准确性 (135/144个数据点).
- 通过各种数据类型,包括分类和自由文本字段,证明了准确的提取.
结论:
- LLM显示了有效收集中风审计数据的潜力.
- 这种方法可能适用于其他医学专业.
- 未来的研究应该集中在LLMs与人类审计师的最佳整合上.
