利用自然语言处理 (NLP) 来自动化指导数字认知行为疗法 (GdCBT) 中教练实施忠诚度的评估

科学领域:

• 数字健康干预措施 数字健康干预措施
• 心理健康技术 心理健康技术
• 临床信息学是一种临床信息学.

背景情况:

• 导向数字交付认知行为疗法 (GdCBT) 越来越多地被使用.
• 实用分析工具对于评估GdCBT中的教练实施忠实性至关重要.
• 目前用于忠实性评估的方法可能是资源密集的.

研究的目的:

• 评估自然语言处理 (NLP) 和机器学习 (ML) 的潜力,以自动化在GdCBT中监控教练实现的可靠性.
• 通过使用基于文本的通信数据来评估ML模型在预测教练忠诚度方面的性能.

主要方法:

• 一个随机对照试验,涉及3,381名用户和教练提供6个月的GdCBT.
• 人类编码者对13529个教练对用户消息的实现忠实度进行了评分.
• 使用NLP技术从消息中提取数据,并开发和评估11个ML模型来预测保真度.

主要成果:

• 人类编码者之间的优秀的评级者间协议 (ICC = .980-.992).
• 教练通常保持高忠诚度,避免禁止的行为.
• 机器学习模型,特别是那些使用全面NLP特征的机器学习模型,在预测准确度方面表现良好 (AUC = 76.06%).

结论:

• 在GdCBT中,NLP和ML工具提供了一个可行的解决方案,用于自动化在GdCBT中监控教练忠实度.
• 自动化忠实性监测可以显著减少评估所需的人员时间和资源.
• 这种自动化可能会重新分配资源,以提高临床护理的质量.