通过使用大型语言模型,自动检测在线文本中的问题博迹象
Elke Smith1, Jan Peters1, Nils Reiter2
1Department of Psychology, Biological Psychology, University of Cologne, Germany.
PLOS digital health
|September 25, 2024
概括
研究人员开发了一种来自变压器的双向编码器表示 (BERT) 模型,以检测在线讨论中的博问题迹象. 这种人工智能方法对在数字社区中识别与博相关的痛苦和行为模式充满希望.
科学领域:
- 计算语言学计算语言学
- 心理学 心理学 心理学
- 公共卫生 公共卫生
背景情况:
- 博问题是一个重大的公共卫生问题,具有严重的心理和经济后果.
- 在线博社区是信息交换的平台,可能反映出问题博行为.
- 问题博水平较高的人在这些在线社区中更活跃.
研究的目的:
- 微调双向编码器变压器表示 (BERT) 模型,从在线论坛帖子中预测问题博指标.
- 评估基于BERT的模型在检测用户生成内容中的博问题签名方面的有效性.
- 探索计算方法的潜力,以监测在线问题博的趋势.
主要方法:
- 数据是从德国在线博讨论板收集的.
- 一个来自变压器的双向编码器表示 (BERT) 模型使用手动注释数据进行了微调.
- 训练数据包含了与博相关的诊断标准和认知扭曲.
- 使用交叉验证来评估模型性能.
主要成果:
- 基于BERT的模型实现了0.95的精度和0.71.7的F1得分.
- 通过高质量,手动注释的培训数据,证明了令人满意的分类性能.
- 该研究证实了BERT模型对分析小数据集的可靠性,以检测问题博指标.
- 该模型成功地在在线通信数据中识别了问题博的签名.
结论:
- 从变压器 (BERT) 的双向编码器表示模型可以有效地用于检测在线论坛帖子中的博问题.
- 基于诊断标准的高质量的手册注释对于训练准确的模型至关重要.
- 计算方法,如开发的BERT模型,为在线博问题的早期发现和监测提供了一个有希望的途径.
