使用自然语言处理在住院康复中进行战略培训的自动化忠诚度评估

科学领域:

• 康复医学 康复医学 康复医学
• 认知科学 认知科学
• 计算语言学 计算语言学

背景情况:

• 战略训练是中风后认知障碍的关键康复方法.
• 目前的可信度评估依赖于口头提示的手动审查,这对于多站点试验来说是耗时和昂贵的.
• 自动化此评估对于更广泛的实施和研究可扩展性至关重要.

研究的目的:

• 开发和验证自然语言处理 (NLP) 模型用于自动化战略培训的忠实性评估.
• 为了比较基于规则,LSTM和BERT模型在识别指导和定向口头线索方面的性能.
• 在外部数据集上评估表现最好的模型的概括性.

主要方法:

• 开发了三种NLP模型:基于规则的长期短期记忆 (LSTM) 和来自变压器的双向编码器表示 (BERT).
• 训练和评估模型使用康复课程的视频录制来检测口语线索.
• 在来自不同卫生系统的独立数据集上对最佳模型的验证.

主要成果:

• 伯特模型表现出最高的性能,F1得分为0.8075.
• 外部验证证实了BERT模型的通用性,达到F1得分为0.8259.
• NLP自动化提供了一个可行的,准确的替代手动可信度评估.

结论:

• 使用NLP,特别是BERT的自动化战略培训忠实度评估是有效和可扩展的.
• 这项技术可以降低成本和时间,促进更广泛地采用有效的中风康复策略.
• 研究结果支持将NLP纳入心理和康复研究和临床实践.