量子启发的神经网络具有层次纠嵌入,用于匹配
Chenchen Zhang1, Zhan Su2, Qiuchi Li2
1School of Computer Science and Technology, Beijing Institute of Technology, Beijing, 100081, PR China.
概括
量子启发的神经网络 (QNN) 提供了先进的语言理解,但面临着记忆挑战. 一个新的层次纠嵌入 (QHEE) 模型使用形态词来实现高效,多粒度的语义表示,优于现有的QNN.
科学领域:
- 计算语言学计算语言学
- 认知科学是一种认知科学.
- 量子计算应用程序 量子计算应用程序
背景情况:
- 量子启发的神经网络 (QNN) 显示出对非经典语言现象建模的前景.
- 现有的QNN在复杂的嵌入式中扎着高的内存/存储成本.
- 目前的模型并没有充分利用词形成并行与形态汇总的并行.
研究的目的:
- 推出一种新的量子启发的神经网络,具有层次纠嵌入 (QHEE).
- 为了解决语言理解当前QNN中的内存和存储限制.
- 为了利用更细粒度的形态词来实现高效,多粒度的语义表示.
主要方法:
- 开发了QHEE模型,利用字内和字间纠嵌入.
- 从多个角度使用单词内嵌的聚合构成形态.
- 通过单元转换组合单词,并嵌入单词间,以捕捉非经典的相关性.
- 采用了形态嵌入式,其数量和维度比词嵌入式要小,用于参数压缩.
主要成果:
- 与强大的量子启发基线相比,QHEE表现出更高的有效性.
- 该模型实现了显著的压缩能力,由于高效的形态基嵌入.
- 实验结果验证了该模型在四个基准数据集和各种下游任务中的性能.
结论:
- QHEE有效地缓解了QNN中的内存和存储问题.
- 基于形态的层次纠方法使有效的多粒度语义学习成为可能.
- QHEE代表了量子启发的语言理解模型的重大进步.
