RB-GAT:基于罗伯塔-比格鲁的文本分类模型,带有图形注意力网络
Shaoqing Lv1,2, Jungang Dong1, Chichi Wang1
1School of Communication and Information Engineering, Xi'an University of Posts and Telecommunications, Xi'an 710121, China.
Sensors (Basel, Switzerland)
|June 19, 2024
概括
一个新的RB-GAT模型通过将RoBERTa-BiGRU嵌入式与多头图表注意网络 (GAT) 集成来增强文本分类. 这种方法有效地捕获上下文信息,优于对基准数据集的现有方法.
科学领域:
- 自然语言处理自然语言处理.
- 机器学习 机器学习
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 图形神经网络 (GNN) 用于文本分类,但难以处理上下文信息.
- 现有的GNN模型在有效捕获顺序和双向文本数据方面存在局限性.
研究的目的:
- 提出一个新的文本分类模型,RB-GAT,解决当前GNN的局限性.
- 为了提高文本分类任务的准确性和上下文理解.
主要方法:
- 利用RoBERTa进行上下文的文字和文本嵌入.
- 采用双向门式循环单元 (BiGRU) 来捕捉长期依赖和双向信息.
- 应用了多头图表注意网络 (GAT) 来分析文档信息作为节点特征.
主要成果:
- 在五个基准数据集上实现了高精度:71.48% (Ohsumed),98.45% (R8),80.32% (MR),90.84% (20NG) 和95.67% (R52).
- 与九种现有的文本分类方法相比,表现出优越的性能.
- 在文档序列中成功捕获了上下文文本信息.
结论:
- 拟议的RB-GAT模型显著提高了文本分类的准确性.
- 罗伯塔-BiGRU和多头GAT的组合对于分析复杂文本数据是有效的.
- 在深度学习中,RB-GAT为文本分类提供了有前途的进步.
