基于多重交叉注意力的生物医学命名实体识别功能融合融合
Dequan Zheng1,2, Rong Han1, Feng Yu1,2
1Harbin University of Commerce, Harbin, China.
PloS one
|May 28, 2024
概括
这项研究引入了一种新的多交叉注意力融合方法,用于生物医学命名实体识别. 该方法通过整合字符和单词级信息来增强特征提取,显著提高实体识别准确性.
科学领域:
- 生物医学自然语言处理
- 计算生物学 计算生物学
- 生物信息学是一种生物信息学.
背景情况:
- 当前的生物医学命名实体识别 (NER) 方法经常使用字符级模型,例如独立的字符级卷积神经网络 (CharCNN) 或字符级反复神经网络 (CharRNN).
- 这种独立的使用忽略了这些模型的互补优势,并忽略了词集成过程中关键的特征信息,限制了整体性能.
研究的目的:
- 提出一种新的多重交叉注意力特征融合方法,以提高生物医学命名实体识别.
- 通过利用交叉注意力机制,有效地整合字符级和单词级的特征.
主要方法:
- 拟议的方法采用DistilBioBERT,CharCNN和CharLSTM用于最初的词和字符特征之间的交叉注意力融合.
- 随后的交叉注意力融合步骤整合了这些初始特征向量,以创建最终的特征表示.
- 使用具有多头注意力机制的BiLSTM来改进特征焦点并提高性能.
主要成果:
- 该模型在五个基准数据集中获得了最高的F1分数:NCBI-Disease (90.76%),BC5CDR-Disease (89.79%),BC5CDR-Chem (94.98%),JNLPBA (80.27%) 和BC2GM (88.84%).
- 这些结果表明,与现有方法相比,性能优越.
结论:
- 多重交叉注意力特征融合方法有效地捕捉了更丰富的语义特征.
- 拟议的模型显著提高了生物医学命名实体识别的准确性和能力.


