用开放式问卷和大型语言模型增强心理评估:一个ASD案例研究

科学领域:

• 自然语言处理自然语言处理.
• 计算精神病学是一种计算精神病学.
• 医疗保健中的机器学习

背景情况:

• 开放式问卷提供丰富的数据,但很难手动分析.
• 自然语言处理 (NLP) 的进步为定性数据的自动分析提供了潜力.
• 在心理学分类中NLP的应用,特别是大语言模型 (LLM),仍然未被充分探索.

研究的目的:

• 提出和评估一种使用预先训练有素的LLM进行开放式问卷答复的自动分类的方法.
• 将这种方法应用于使用家长报告对自闭症谱系障碍 (ASD) 的分类.
• 将不同的LLM培训策略进行比较,并评估其性能和可解释性.

主要方法:

• 利用了51名参与者的转录家长报告 (26名典型发育,25名ASD).
• 对比了各种LLM微调策略,输入表示和特异性级别.
• 通过从12个单个问题中汇总答案来得出主题级预测,并使用投票系统进行最终分类.
• 使用GPT-4o进行了零射击评估,并评估了不同LLM方法的解释性.

主要成果:

• 表现最好的方法实现了84%的对象精度和1.0的ROC-AUC.
• 这种最佳策略涉及到一个OpenAI嵌入模型,每个问题培训,输入中包含问题,以及用于聚合的投票系统.
• 使用GPT-4o的零射击评估产生了可比的结果,证明了紧型和大型LLM的有效性.
• 可解释性各不相同,本地部署的LLM提供了比专有模型更大的透明度.

结论:

• 在心理评估中,LLM提供了一种经过验证,可扩展和具有成本效益的方法,用于自动分类开放式问卷.
• 这种方法对自闭症谱系障碍 (ASD) 评估具有显著的前景,并且在心理健康研究中分析定性数据方面具有更广泛的适用性.
• 专有LLM的性能与局部部署模型提供的可解释性之间存在一个权衡.