从西班牙临床叙述中提取乳腺癌信息的变压器

科学领域:

• 自然语言处理自然语言处理.
• 临床信息学 临床信息学
• 生物医学文本挖掘 生物医学文本挖掘

背景情况:

• 电子健康记录 (EHR) 对临床研究非常有价值.
• 之前的研究在从EHR中提取西班牙癌症概念的范围有限.
• 深度学习在处理临床文本方面表现有前途.

研究的目的:

• 在西班牙乳腺癌临床注释中提出和评估基于变压器的命名实体识别 (NER) 方法.
• 为了比较各种语言模型对这个任务的性能.
• 开发一个用于注释乳腺癌概念的方案和语料库.

主要方法:

• 使用基于变压器的语言模型 (BERT,RoBERTa) 为NER.
• 在西班牙新开发的乳腺癌体上微调的模型.
• 使用F分数评估模型性能.

主要成果:

• 罗伯塔生物医学获得了最高的F分 (95.01%).
• 多语言的BERT和RoBERTa BNE也表现强 (分别为94.63%和94.54%).
• 贝托获得了93.71%的F分数.

结论:

• 变压器模型是有效的临床NER在西班牙语.
• 在生物医学文本上训练的模型产生了卓越的结果.
• 这种方法有助于利用转移学习从电子健康记录中有效地提取信息.