探索大型语言模型在门诊精神卫生机构自动化安全计划评分方面的潜力

科学领域:

• 精神病学是一个精神病学.
• 人工智能的人工智能
• 心理健康技术 心理健康技术

背景情况:

• 安全规划干预 (SPI) 对于管理自杀风险至关重要.
• 高保真度的SPI在降低自杀风险方面更有效.
• 手动评估 SPI 准确性是耗时且主观的.

研究的目的:

• 开发和评估一个自动化工具,安全规划干预忠实度指标 (SPIFR),用于评估SPI质量.
• 为了比较三个大型语言模型 (LLM) 在评估 SPI 忠实性的表现.
• 为准确的SPI质量评估确定最佳的LLM配置.

主要方法:

• 开发了SPIFR工具,使用GPT-4,LLaMA3和o3-mini LLMs.
• 分析了来自门诊精神卫生机构的266个身份不明的SPI.
• 优化了四个关键SPI步骤的LLM评分系统,提示和参数.

主要成果:

• 在预测性能方面,LLaMA 3和o3-mini显著超过了GPT-4.
• 根据每个LLM的加权F1分数,建议采用特定的基于步骤的评分系统.
• 该自动化工具展示了关于SPI质量的及时和准确反的潜力.

结论:

• 在SPI忠诚度评估的自动化方面,LLM显示出了前景.
• SPIFR工具可以提高这种基于证据的自杀预防策略的有效性.
• 进一步开发可以将基于LLM的反纳入临床实践,以改善自杀风险管理.