对正则表达式的比较性能分析和基于大型语言模型的方法,从放射学报告中提取BI-RADS得分

科学领域:

• 放射学和医学成像学 医学成像学
• 自然语言处理自然语言处理.
• 医疗信息学 医疗信息学

背景情况:

• 自然语言处理 (NLP) 技术越来越多地用于从放射学报告中提取数据.
• 基于规则的方法 (Regex) 和大型语言模型 (LLM) 都显示了结构化信息检索的潜力.
• 对于特定的放射性数据元素,如BI-RADS得分,Regex和LLMs的直接比较是缺乏的.

研究的目的:

• 为了比较基于Regex和LLM的方法的准确性和处理效率,以提取乳腺成像报告和数据系统 (BI-RADS) 的得分.
• 为了评估基于规则的Regex算法的性能与LLM (Rombos-LLM-V2.6-Qwen-14b) 对BI-RADS得分提取的性能.
• 分析与每个方法相关的提取模式和偏差.

主要方法:

• 使用了7764份放射学报告 (乳房影像,超声波,MRI,活检) 的数据集.
• 基于Regex的算法和基于LLM的方法被开发用于BI-RADS得分提取.
• 用于评估和比较的是199份手动分类报告的基准真相数据集.

主要成果:

• 在BI-RADS得分提取 (P = .56) 方面,在Regex (89.20%) 和LLM (87.69%) 之间没有发现统计学上显著的精度差异.
• 雷格斯处理的效率大大提高,完成任务的速度是LLM的28,120倍 (0.06s vs 1687.20s).
• 在LLM中,人们更倾向于使用常见的分类 (BI-RADS2),而Regex则更频繁地识别"不清楚"的值. 对 BI-RADS 5 和 6 的横向偏差得到证实.

结论:

• 对于像BI-RADS分数这样的结构化数据,传统的NLP技术 (Regex) 似乎比LLMs更有效.
• 未来的研究应该考虑混合方法,将Regex精度与LLM上下文理解相结合,用于复杂的数据提取.
• 在放射学报告中,LLM可能需要进一步细化,以有效地处理细微的分类和偏差.