用大型语言模型解释精神病学数字表型化数据:初步分析

科学领域:

• 医疗保健中的人工智能
• 数字化表型化是指数字化表型化.
• 计算精神病学是一种计算精神病学.

背景情况:

• 数字表型为行为健康提供了被动监测,但难以将复杂的数据转化为临床见解.
• 数字导航器解释这些数据,但劳动力局限性阻碍了可扩展性.

研究的目的:

• 系统地评估大型语言模型 (LLM) 在解释模拟精神病学数字表型化数据方面的表现.
• 在这个新兴的临床应用中为LLM建立基线准确度指标.

主要方法:

• GPT-4o和GPT-3.5-turbo在超过153个测试案例中使用模拟的数字表型化数据进行了评估.
• 测试案例模仿了用于培训人类数字导航员的场景,时间框架和数据质量水平.
• 模型的性能通过将其识别临床模式的能力与人类专家进行比较来评估.

主要成果:

• 在解释精神病学数字表型化数据方面,GPT-4o实现了52%的准确性,显著超过了GPT-3.5-turbo (12%).
• 对于抑郁症 (100%) 和焦虑症 (83%) 的恶化,GPT-4o的准确性很高,但对于其他模式的准确性较低 (例如,随着家庭时间的增加而改善症状的准确性为6%).
• 随着数据质量降低 (39%) 和时间缩短 (43%为3周,而60%为3个月),准确性下降.

结论:

• GPT-4o的52%准确度为LLM对数字表型化数据的解释提供了基准,尽管由于性能差距和幻觉,人类监督是必不可少的.
• 跨模型,数据质量和临床场景的LLM性能存在显著差异,需要谨慎的实施策略.
• 法律法学可以潜在地增强人类数字导航者,解决劳动力短缺问题,同时保持数字表型的临床监督.