在门诊精神卫生机构使用大型语言模型进行自动化安全计划评分:探索性研究
Hayoung K Donnelly1,2, Gregory K Brown1, Kelly L Green1
1Department of Psychiatry, University of Pennsylvania, Philadelphia, PA, United States.
JMIR mental health
|January 8, 2026
概括
使用大型语言模型 (LLM) 的自动化工具可以评估自杀预防安全计划的质量. 在评估这些关键的心理健康计划时,LLaMA 3和o3-mini表现优于GPT-4.
科学领域:
- 人工智能在心理健康中的作用
- 自然语言处理应用程序
- 临床心理学研究 临床心理学研究
背景情况:
- 安全规划干预 (SPI) 是一个重要的自杀预防工具,提供书面计划以减轻患者自杀风险.
- 更高质量的安全计划 (完整,个性化,具体) 在降低自杀风险方面更有效.
- 目前评估SPI质量的方法是劳动密集型的,限制了临床医生的反.
研究的目的:
- 开发一个自动化工具,安全计划忠实度计,用于评估书面安全计划的质量.
- 利用三个不同的大型语言模型 (LLM):GPT-4,LLaMA 3和o3-mini进行质量评估.
主要方法:
- 利用了来自纽约门诊精神卫生机构的266个身份不明的安全计划.
- 该研究分析了四个关键组成部分:警告标志,内部应对策略,环境安全和生活理由.
- 在LLM中比较预测性能,优化评分系统,提示和参数.
主要成果:
- 与GPT-4相比,LLaMA 3和o3-mini在评估安全计划质量方面表现优越.
- 推基于加权F1分数的步骤特定评分系统,以获得最佳性能.
结论:
- 大型语言模型显示了为为临床医生提供关于安全计划质量的及时和准确反的巨大潜力.
- 自动反可以提高安全规划干预措施在社区心理健康实践中的实施和有效性.
