从变压器 (BERT) 增强双向编码器表示,使用框架语义从德国乳房镜报告中提取临床相关信息:算法开发和验证
Daniel Reichenpfader1,2, Jonas Knupp3, Sandro Urs von Däniken4
1Institute for Patient-Centered Digital Health, School of Engineering and Computer Science, Bern University of Applied Sciences, Biel/Bienne, Switzerland.
Journal of medical Internet research
|April 25, 2025
概括
这项研究结合了来自变压器的双向编码器表示 (BERT) 与语义,从乳房镜报告中提取结构化数据,实现高精度并实现高效的私人部署.
科学领域:
- 自然语言处理自然语言处理.
- 计算语言学 计算语言学
- 医疗信息学 医疗信息学
背景情况:
- 结构化报告提高了放射学中的清晰度,但由于自由文本的变化,其采用率很低.
- 手动结构是耗时且不一致的.
- 大型语言模型对临床数据提取有希望,但在域调整和隐私方面存在局限性.
研究的目的:
- 探索从变压器 (BERT) 的双向编码器表示和框架语义的集成,以提取和规范化从自由文本乳房造影报告中的信息.
- 开发和评估用于放射学报告的新型信息提取管道.
主要方法:
- 在210份德国乳房检查报告的注释体上微调BERT模型.
- 使用提取式问答和序列标记模型开发一个事实提取管道.
- 使用困难度,SQuAD 2.0和序列指标的定量评估,以及临床医生的定性评估和与生成模型的比较.
主要成果:
- 该系统成功地从乳房镜报告中提取了14个事实类型和40个实体.
- 在回答问题方面获得了90.4%的F1平均分数,在序列标记方面获得了81%的F1.
- 与生成方法相比,定性评估显示出高精度 (事实96.1%,实体99.6%).
结论:
- 框架语义为放射学中自动化结构化报告提供了一个强大的框架.
- 基于BERT的方法使得可定制,通用和保护隐私的信息提取成为可能.
- 为了更广泛的临床适用性,建议对各种数据集和报告类型进行进一步的验证.
