多任务意见增强的混合BERT模型用于心理健康分析
Md Mithun Hossain1, Md Shakil Hossain1, M F Mridha2
1Department of Computer Science and Engineering, Bangladesh University of Business and Technology, Dhaka, 1216, Bangladesh.
Scientific reports
|January 27, 2025
概括
这项研究引入了Opinion-BERT,这是一种从用户文本分析心理健康的新型模型. 它通过将意见嵌入与BERT集成来实现情绪和状态分类的高准确性,以更好地评估情感福祉.
科学领域:
- 自然语言处理自然语言处理.
- 计算语言学 计算语言学
- 心理健康信息学心理健康信息学
背景情况:
- 分析用户生成的内容以获得心理健康见解至关重要,但具有挑战性.
- 当前的模型往往忽视了整合多样化的观点,限制了全面的心理健康评估.
- 在心理健康的文本数据分析中,单任务学习方法未能捕捉到用户情绪和观点的复杂性.
研究的目的:
- 通过整合用户的观点和情绪,更深入地了解心理健康.
- 引入意见增强混合BERT模型 (意见-BERT) 以同时对情绪和地位进行分类.
- 通过多任务学习提高心理健康评估的准确性.
主要方法:
- 开发了Opinion-BERT,一种利用多任务学习进行情绪和地位分类的混合模型.
- 使用TextBlob和SciPy提取和动态构建的意见嵌入,以补充预先训练的BERT.
- 通过CNN和BiGRU层与BERT的上下文嵌入集成的意见嵌入,以捕捉本地和顺序特征.
主要成果:
- 与BERT,RoBERTa和DistilBERT等基线模型相比,Opinion-BERT表现优越.
- 在情绪分类中获得了96.77%的准确性,在状态分类中获得了94.22%的准确性.
- 验证了意见增强嵌入的关键作用,以改善心理健康分析的多任务学习绩效.
结论:
- 意见-BERT模型从用户生成的文本中提供了对情绪和心理状态的更细致的理解.
- 在多任务学习框架中将意见和情绪数据结合起来,可以显著提高心理健康分析.
- 这种方法突出了通过先进的文本数据分析技术来改善心理健康评估的潜力.
