预测聊天辅导的满意度 在 24/7 聊天热线为青年:自然语言处理研究研究

科学领域:

• 心理健康技术 心理健康技术
• 自然语言处理自然语言处理.
• 青年支持服务 青年支持服务

背景情况:

• 基于聊天的咨询为年轻人提供了可访问的心理健康支持.
• 自然语言处理 (NLP) 非常适合分析聊天交互以改善护理.
• 用户满意度的自动评估对于这些服务的质量控制至关重要.

研究的目的:

• 评估使用NLP用于自动评估基于聊天的心理健康支持中用户满意度的可行性.
• 开发和比较机器学习模型,根据对话内容预测聊天的有用性.
• 为在线青年心理健康服务的质量改进策略提供信息.

主要方法:

• 在来自2609名年轻用户的约14万条消息上训练和评估机器学习分类器.
• 使用极端梯度增强 (XGBoost) 分类器与单词向量化器并与基于变压器的模型进行比较.
• 在522名用户的单独测试组上选择了表现最好的模型进行最终评估.

主要成果:

• XGBoost分类器实现了收音机运行特征得分0.69的区域,以及0.25.25的马修斯相关系数.
• 一个基于Longformer的变压器模型并没有显著超过XGBoost基线的性能.
• 分析表明,聊天中的满意度表达与帮助度评分相关,而拒绝练习则预测了无助.

结论:

• 聊天交互包含有价值的数据,用于基于NLP的预测感知服务质量.
• 需要进行进一步的研究,包括随机试验,以确认这些预测模型是否会导致有形的服务改进.
• 像XGBoost这样的简单模型可能是有效的,并且将它们与复杂的预训练模型进行比较是避免不必要的复杂性至关重要的.