一种双阶段微调方法,用于低资源的跨语言总结

科学领域:

• 自然语言处理自然语言处理.
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 跨语言总结 (CLS) 需要理解跨语言的语义和压缩信息.
• 现有的方法包括使用多语言预训练模型 (mPTM) 的管道 (翻译-然后-总结) 和端到端方法.
• 由于对资源丰富的数据进行培训,mPTM经常在对低资源语言的语义调整方面扎.

研究的目的:

• 提出一种新的两阶段微调方法 (TFLCLS),用于低资源的跨语言总结.
• 增强低资源语言的mPTM的语义对齐和信息压缩能力.
• 在低资源场景中解决当前CLS方法的局限性.

主要方法:

• 开发了一种两阶段的微调方法:语义对齐微调,然后是自适应性关节微调.
• 第1阶段的重点是提高mPTM对低资源语言的理解.
• 第二阶段增强了CLS任务的语义对齐和信息压缩.

主要成果:

• 引入了三个新的低资源的CLS数据集:Vi2ZhLow,En2ZhLow和Zh2EnLow.
• TFLCLS显著超过了最先进的方法,在ROUGE-2中实现了18.88%,12.71%和16.91%的改进.
• 即使有有限的培训数据 (5,000个样本),也证明了有效的表现.

结论:

• 拟议的TFLCLS方法有效地解决了低资源跨语言总结的挑战.
• 两阶段的微调策略增强了关键的语义对齐和信息压缩能力.
• 在数据稀缺的语言对中,TFLCLS提供了一个有前途的解决方案来提高CLS的性能.