自动生成排放摘要:利用大规模的语言模型与临床数据
Matthias Ganzinger1, Nicola Kunz2, Pascal Fuchs3
1Institute of Medical Informatics, Heidelberg University, Heidelberg, Germany. matthias.ganzinger@med.uni-heidelberg.de.
开源的大型语言模型 (LLM) 可以从临床数据中自动化德国出院摘要. 虽然很有希望,但LLaMA3的错误率为2.84 /总结,并遗漏了关键细节,表明需要改进.
科学领域:
- 医疗信息学 医疗信息学
- 自然语言处理自然语言处理.
- 临床文档 临床文档
背景情况:
- 自动化临床文档对于医生效率至关重要.
- 大型语言模型 (LLM) 显示出产生医疗文本的潜力.
- 德语出院摘要需要准确和全面的医学术语.
研究的目的:
- 评估使用开源LLM用于自动生成德国排放摘要的可行性.
- 评估LLM生成的摘要的准确性,完整性和流利性.
- 确定LLM在临床文档应用中的挑战和改进领域.
主要方法:
- 使用了来自25个未被识别的EHR数据集的结构化临床数据.
- 通过快速工程,优化了LLaMA3模型.
- 评估包括错误分析,定量指标 (ROUGE-1,BERTScore) 和医生评级 (利克特级).
主要成果:
- 在LLM生成的摘要中,平均每摘要的错误率为2.84.
- 与医生撰写的摘要的一致性低至中等 (ROUGE-1:0.25,BERTScore:0.64).
- 医生对综合性 (3.72/5) 和正确性 (3.88/5) 进行了评分,但基本细节往往被遗漏.
结论:
- 开源的LLM可以帮助起草德国的放任摘要,但需要显著的细化.
- 挑战包括处理复杂的案件,时间推理和德国医学术语.
- 未来的工作需要更大的数据集和潜在的模型微调,以提高准确性和完整性.
更多相关视频
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
09:20Cloud-Based Phrase Mining and Analysis of User-Defined Phrase-Category Association in Biomedical Publications
Published on: February 23, 2019
相关概念视频
Discharge Summary Forms
Here's a detailed look at the key components and guidelines for preparing a discharge summary:
Improving Translational Accuracy
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...
Statistical Software for Data Analysis and Clinical Trials
Non-equilibrium in the Cell
Flow Sheet
Here's a closer look at the examples of flowsheets commonly used by nurses:
Graphic Sheet Documentation:
