ZS-MNET:一种基于零射击学习的方法,用于多式联络命名实体类型

科学领域:

• 自然语言处理自然语言处理.
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 社交媒体上的命名实体类型 (NET) 通常只使用文本,忽略了有价值的视觉信息.
• 现有的NET方法与不断变化的实体类型作斗争,并需要为新类别进行再培训.
• 多模式数据为识别多样化和新兴的命名实体带来了挑战和机会.

研究的目的:

• 开发一种基于零射击学习的多式联络网络 (ZS-MNET) 模型.
• 为了利用文本和视觉模式来改进命名实体识别.
• 为了使以前未见的实体类型可以在没有额外培训的情况下被识别.

主要方法:

• 该ZS-MNET模型集成文本和图像数据使用预训练过的基于变压器的模型,如BERT和ViT.
• 细粒度的多模式表示是为了捕捉数据和实体类型之间的语义相关性而生成的.
• 采用融合方法,将不同的多式联网表示方式结合起来,以进行增强的特征建模.

主要成果:

• 多模式数据显著提高了NET任务的性能.
• 与传统的零射击NET (ZS-NET) 方法相比,提出的ZS-MNET模型显示出更高的性能.
• 该模型成功地以零射击的方式识别了以前未见的命名实体类型.

结论:

• 整合视觉和文本模式对于推进命名实体排版至关重要.
• ZS-MNET模型为识别多样化和新兴实体类型提供了强大的解决方案.
• 零射击学习与多式联网数据相结合,为NET在动态环境中提供了可扩展的方法.