开发和验证大型语言模型评级尺度,用于自动转录的心理治疗会话

科学领域:

• 心理评估 心理评估
• 计算语言学计算语言学
• 数字健康数字健康

背景情况:

• 心理学研究中的传统评级表是资源密集型的,可能会给参与者带来负担.
• 大型语言模型 (LLM) 为评估文本数据中的潜在构造提供了一个新的机会.
• 开发自动化,高效和可靠的评估工具对于推进心理学研究和临床实践至关重要.

研究的目的:

• 引入和验证LLM评级尺度作为传统人类评级尺度的可行替代方案.
• 开发和评估一个LLM评级尺度来衡量患者对心理治疗成绩单的参与.
• 评估拟议的LLM评级表的心理测量属性和有效性.

主要方法:

• 利用自动转录的治疗会话视频从1,131次会议在155名患者.
• 采用DISCOVER软件框架进行本地多式联运人类行为分析.
• 应用了Llama 3.1 8B LLM来评价120个参与项目,平均为总分的前八名.

主要成果:

• 该LLM评级表显示正常分布和强大的可靠性 (ω = 0.953).
• 心理测量匹配是可以接受的 (CFI = 0.968,SRMR = 0.022),其中RMSEA = 0.108.
• 有效性得到了动机 (r = 0.413),会议间的努力 (r = 0.390) 和症状减少 (r = -0.304) 的显著相关性.
• 在引导重新抽样和交叉验证中,结果是稳健的,考虑到嵌套的数据结构.

结论:

• 法学士学位评级表显示出强大的心理测量特性,证明了它们作为自动化评估工具的潜力.
• 这种方法为清晰的构造理解提供了可解释的项目.
• 该自动化方法支持本地实施,并保护机密的患者数据.