用大型语言模型评估抑郁和焦虑的自然语言反应格式:用模型预注册进行顺序评估

科学领域:

• 自然语言处理自然语言处理.
• 计算精神病学是一种计算精神病学.
• 医疗保健中的机器学习

背景情况:

• 大型语言模型 (LLM) 可以从用户描述中量化心理健康.
• 之前的LLM分析往往结合了各种各样的文本响应类型.
• 响应格式对LLM分析有效性和可靠性的差异影响尚不清楚.

研究的目的:

• 在不同响应格式中开发和比较基于LLM的心理健康评分的有效性和可靠性.
• 调查LLM使用封闭式 (词列表) 到开放式 (文本) 响应格式的性能.
• 评估LLM得分与临床结果 (如病假) 的外部有效性.

主要方法:

• 开发了四种响应格式:单词列表,描述词,短语和自由文本.
• 从参与者的答案 (N=963) 中对词嵌入进行训练的机器学习模型,以预测抑郁症/焦虑评分.
• 采用了模型预注册 (SEMPR) 设计的顺序评估,在一个潜在样本 (N=145) 上测试预注册模型.
• 评估并发,增量,面对面,区分和外部有效性,以及前性和测试-重新测试可靠性.

主要成果:

• 预先注册的模型显示出强大的有效性和可靠性,在预期样本中实现了高精度 (r=0.60-0.79).
• 在LLM分析中,外部有效性显示出与自我报告的病假和医疗保健访问相关.
• 自由文本响应格式与外部结果的相关性最强,在大多数情况下与传统评级表相匹配或超过 (9/12).

结论:

• 基于LLM的心理健康评估在各种响应格式中是有效和可靠的.
• 选择应答格式可以根据特定的临床需求和预期结果进行调整.
• 法律法规为心理健康量化提供了一个灵活而准确的工具,文本格式对外部有效性特别有希望.