临床文本的神经机器翻译:对多语言预训练语言模型和转移学习的实证研究

科学领域:

• 自然语言处理自然语言处理.
• 机器学习 机器学习
• 计算语言学 计算语言学

背景情况:

• 临床文本包含有价值的医疗保健信息,对智能系统至关重要.
• 处理临床文本需要先进的语言技术来理解和翻译.
• 跨语言的知识共享在医疗保健中至关重要,但受到语言障碍的阻碍.

研究的目的:

• 研究用于临床文本机器翻译的多语言神经网络模型.
• 解决语言资源不平衡问题,使用大规模多语言预训练语言模型 (MMPLMs) 的转移学习.
• 评估模型在临床病例,术语和本体学概念翻译任务上的表现.

主要方法:

• 利用基于变压器的深度学习架构用于多语言神经网络.
• 雇员转移学习使用大规模的多语言预训练语言模型 (MMPLMs).
• 针对三个子任务,对英语-西班牙语临床领域数据进行了实验.

主要成果:

• 在ClinSpEn-2022的英语-西班牙语临床翻译共享任务中取得了顶级表现.
• 专家对人类的评估表明,一个小的预训练语言模型 (PLM) 在临床微调中显著优于较大的模型.
• 转移学习有效地适应了新语言空间的模型,比如西班牙语,在预培训中没有看到.

结论:

• 开发的模型证明了临床文本机器翻译的高效性.
• 较小的PLM在临床微调中的惊人的有效性需要进一步研究.
• 转移学习显示出在扩大跨多种语言的临床知识转化方面具有前景.