通过Dyn-Att Net增强传统中国医学的命名实体识别:一个动态的注意力方法
Jingming Hou1, Saidah Saad1, Nazlia Omar1
1Faculty of Information Science and Technology, Universiti Kebangsaan Malaysia, Bangi, Selangor, Malaysia.
PeerJ. Computer science
|December 13, 2024
概括
一个新的Dyn-Att Net模型通过使用动态注意力和并行结构来改进传统中医 (TCM) 的实体识别 (NER). 这种先进的模型提高了TCM研究的准确性和效率.
科学领域:
- 自然语言处理自然语言处理.
- 人工智能的人工智能
- 计算语言学 计算语言学
背景情况:
- 传统中医 (TCM) 命名实体识别 (NER) 对于自动从医疗记录中提取相关术语至关重要.
- 像BERT-LSTM-CRF这样的现有模型在充分利用BERT和LSTM架构的能力方面存在局限性.
- 简单的模型堆叠可以降低识别性能,需要结构优化.
研究的目的:
- 为TCM NER提出和验证一个优化的模型结构,克服传统方法的局限性.
- 通过改进文本表示来提高识别TCM实体的准确性和效率.
- 推出一个新的模型,Dyn-Att Net,结合动态注意力和并行架构.
主要方法:
- 开发了Dyn-Att Net模型,将来自变压器的双向编码器表示 (BERT) 和长短期记忆 (LSTM) 与动态注意力机制集成在一起.
- 在Dyn-Att Net模型中使用并行架构以有效地捕捉语义,上下文和顺序文本关系.
- 使用PaddlePaddle TCM数据集和其他基准数据集 (APTNER,MSRA,EduNER) 进行比较实验.
主要成果:
- 在TCM数据集上,Dyn-Att Net模型取得了卓越的性能,F1得分为81.91%,准确度为92.06%,精度为80.26%,回忆率为83.76%.
- 在多个数据集中展示了强大的概括能力,包括APTNER,MSRA和EduNER.
- Dyn-Att Net 的并行架构促进了高效的计算,从而节省了 NER 任务的时间.
结论:
- Dyn-Att Net模型在传统中医领域显著提高了NER准确性.
- 该模型具有强大的跨领域泛化潜力,超出了TCM应用.
- 拟议的架构为复杂的NER任务提供了高效和有效的解决方案.
