在精神病学中评估多个大型语言模型的诊断准确性和临床推理

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 精神病诊断 精神病诊断 精神病诊断

背景情况:

• 目前的大型语言模型 (LLM) 评估主要使用准确性基准,这些基准不充分评估诊断推理能力.
• 现有的研究往往分析后期解释,而不是不同的,临床医生可见的推理工件,为复杂的诊断领域如精神病学创造了一个翻译差距.
• 精神病诊断严重依赖于叙事解释,细微推理和管理不确定性,这些领域仅靠准确度指标是不够的.

研究的目的:

• 用临床医师策划的数据集评估精神病学中最先进的LLM的诊断准确性和临床推理质量.
• 调查临床医生评估的推理质量与诊断正确性之间的关联,将LLM绩效与精神病学住院医生进行比较.
• 确定推理质量是否为LLM性能提供了比单独的数据提取准确度更有意义的衡量标准.

主要方法:

• 四个LLM的混合方法评估使用了196个精神病学案例 (135篇发表,61篇小说).
• 通过多个指标 (top-1,top-5准确度,recall@5,MRR) 评估排名差异诊断的诊断准确度.
• 临床推理质量通过临床医生评估模型生成的推理痕迹和定性评论对30个片段进行评估.

主要成果:

• 临床医生评估的诊断推理质量与诊断正确性 (β = 1·80; p < 0·001) 有着强烈的关联,与数据提取质量不同.
• LLM的诊断准确度中等至高,顶级模型达到0.801的Top-5准确度和最高的推理分数.
• 在一个说明性的比较中,LLM诊断准确度与精神病学住院医生的诊断准确度相当.

结论:

• 临床医生评级的诊断推理质量捕捉了超出简单准确性的临床显著的LLM性能变化.
• 精神病学作为一个严格的测试床来评估在叙事密集的临床环境中LLM推理.
• 未来的LLM临床决策支持评估必须整合推理过程的结构性评估,而不仅仅是准确度指标.