TeaBERT:一个高效的知识注入的跨语言语言模型,用于将中国医疗实体映射到统一的医疗语言系统中

科学领域:

• 自然语言处理自然语言处理.
• 计算语言学 计算语言学
• 医疗信息学 医疗信息学

背景情况:

• 医疗实体规范化对于处理医疗信息至关重要.
• 统一医疗语言系统 (UMLS) 是必不可少的,但主要以英语为基础.
• 缺乏强大的中医术语阻碍了正常化.

研究的目的:

• 开发一种跨语言的预先训练的语言模型,用于中国医疗实体的正常化.
• 将UMLS翻译和同义词知识纳入语言模型.
• 在概念层面上使同义的中国和英国医疗实体保持一致.

主要方法:

• 提出了一种使用对比学习的翻译增强培训策略.
• 开发了TeaBERT,一种跨语言的预训练语言模型.
• 集成的UMLS翻译和同义词知识.

主要成果:

• 在没有微调的情况下,TeaBERT实现了最先进的跨语言实体映射性能.
• 超过了以前的模型,其Acc@5值为92.54% (ICD10-CN),87.14% (CHPO) 和84.77% (真实世界v2).
• 证明了同名的中国和英国医疗实体的有效对齐.

结论:

• 翻译改进策略有效地解决了非英语语言缺乏强大的医学术语的问题.
• TeaBERT为跨语言医疗实体正常化提供了一个新的解决方案.
• 这种方法可以适应其他面临类似术语挑战的语言.