Mindbench.ai:一个可操作的平台,用于评估心理健康护理背景下大型语言模型的概况和性能

科学领域:

• 数字健康数字健康
• 医疗保健中的人工智能
• 心理健康技术 心理健康技术

背景情况:

• 大型语言模型 (LLM) 越来越多地用于心理健康指导和危机支持.
• 缺乏经验证据和标准化指标来评估AI的临床替代潜力.
• 需要对人工智能心理健康工具进行监管和强有力的评估框架.

研究的目的:

• 介绍MindBench.ai,一个全面的在线平台,用于评估基于LLM的心理健康工具.
• 为各种利益相关者提供可访问和可解释的信息.
• 建立一个动态的,不断发展的经验评估资源.

主要方法:

• 基于MINDapps.org框架构建,并将其扩展到包括LLM功能.
• 与NAMI合作开发了具有客观标准的系统评估工具.
• 评估了LLM个人资料 (技术特征,隐私,风格) 和表现 (临床推理).

主要成果:

• MindBench.ai将评估方法汇总到一个集中的资源中.
• 该平台提供了从医疗保健角度评估LLM的透明标准.
• 为可扩展性和适应技术进步而设计的基础设施.

结论:

• MindBench.ai为基于LLM的心理健康工具的经验评估提供了关键的基础.
• 该平台将评估转化为一个活跃的资源,适应不断发展的AI技术.
• 促进患者,临床医生,开发人员和监管机构的知情决策.