了解NLP工具的性能和可靠性:比较四种NLP工具,在放射学报告中预测中风表型

科学领域:

• 医疗信息学 医疗信息学
• 计算语言学 计算语言学
• 放射学 放射学是一门学科.

背景情况:

• 自然语言处理 (NLP) 提供了自动化放射学报告分析的潜力.
• 在临床环境中NLP方法的可靠性和适应性需要证明.

研究的目的:

• 为了比较四种现成的NLP工具的性能.
• 对脑血管类型的NLP工具进行评估:缺血性中风,小血管疾病 (SVD) 和缩.
• 评估NLP工具在两个不同的队列中的表现:NHS Fife和苏格兰世代.

主要方法:

• 评估了四种NLP工具 (EdIE-R,ALARM+,ESPRESSO,Sem-EHR) 的使用情况.
• 性能指标包括F1得分,精度和回忆.
• 现象型是由临床专家和专家研究人员定义的.

主要成果:

• 对于缺血性中风 (≥93%) 和SVD (≥98%),EdIE-R获得了最高的F1分数.
• ALARM+在所有表型中表现出强的表现,F1得分高.
• 埃斯普雷斯显示了最高的精度 (90-98%),而Sem-EHR总体上得分最低.

结论:

• NLP工具表现出可变的性能,需要对特定环境进行评估.
• 临床部署需要了解工具开发和可能需要进一步培训或修改的需求.
• NLP工具的适应性是成功整合到临床工作流程的关键.