FLMatchQA:一个基于递归神经网络的问题,通过定制的联合学习模型来回答
1Department of Computing Technologies, School of Computing, SRM Institute of Science and Technology, Kattankulathur, Chennai, Tamilnadu, India.
PeerJ. Computer science
|July 10, 2024
概括
联合学习 (FL) 通过开发特定用户模型来增强问答 (QA) 隐私. 这种方法使用循环神经网络 (RNN),在对数据访问的自然语言问题进行分类时,实现了高准确度.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 自然语言处理自然语言处理.
背景情况:
- 人工智能 (AI) 技术,如问答 (QA) 提供先进的数据访问,但面临监管和隐私方面的挑战.
- 联合学习 (FL) 解决了这些隐私问题,允许在不共享原始数据的情况下进行协作模式培训.
- 层次化的FL系统和个性化的适配器对于将AI模型适应个人用户需求和任务至关重要.
研究的目的:
- 检查对等级联合学习系统用于维护隐私的问题和答案的利用.
- 提出一种理想的方法,在联合学习框架内开发客户端特定的适配器.
- 评估用户修改的层次联合学习模型 (UMHFLM) 对个性化QA的有效性.
主要方法:
- 开发了一个用户修改的层次联合学习模型 (UMHFLM),可以选择根据用户任务量身定制的本地模型.
- 使用循环神经网络 (RNN) 来自动学习和将自然语言问题分类到预定义的模板中.
- 集成的本地和全球模型,其中全球模型影响本地模型以增强个性化,应用于NLP管道以进行短语匹配.
主要成果:
- 该RNN模型实现了高模板分类准确性:在SQuAD2.0上达到92.8%,在QALD-7数据集上达到61.8%,考虑前两个模板.
- 拟议的FL Match方法在数据稀缺性研究中显著优于BERT.
- 在平均平均精度 (MAP) 中,FL Match在2.60% (100%的数据比率) 和平均互惠排名 (MRR) 在7.23% (20%的数据比率) 的水平上表现出了比BERT显著的差距.
结论:
- 与RNN和个性化适配器相结合的等级联合学习,为高级问题解答提供了可行且保护隐私的解决方案.
- UMHFLM有效地对自然语言问题进行分类,使数据访问更加复杂和安全.
- 飞行匹配为传统方法 (如BERT) 提供了强大的替代方案,特别是在参与者数据有限的场景中.
