大型语言模型的诊断准确性在精神病学中

科学领域:

• 精神病学是一个精神病学.
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 在精神病学中,准确的医疗决策至关重要,因为诊断往往取决于患者的主观报告.
• 人工智能 (AI),特别是大型语言模型 (LLM),为改善精神病学诊断准确性提供了一个有希望的途径.
• 本研究比较评估了几种人工智能模型的诊断能力,使用DSM-5中的临床病例.

研究的目的:

• 为了比较各种AI模型的诊断准确度和推理质量,包括GPT-3.5,GPT-4,Aya和Nemotron.
• 评估AI在解释复杂的精神病学临床病例中的有效性.
• 在精神病诊断中识别不同AI模型的优点和局限性.

主要方法:

• 从DSM-5中策划了20个临床病例,涵盖了各种精神病诊断.
• 四个先进的人工智能模型 (GPT-3.5 Turbo,GPT-4,Aya,Nemotron) 被要求提供诊断和推理.
• 基于诊断准确性和推理质量来评估模型的性能,对于访问DSM-5文本的模型,使用Retrieval Augmented Generation (RAG).

主要成果:

• 与Aya和Nemotron相比,GPT-3.5和GPT-4的诊断准确度和推理质量显著提高.
• 人工智能模型在诊断精神病和双相情感障碍方面表现出特别的熟练程度.
• 对于诸如循环和破坏性情绪失调障碍等疾病,注意到了特定的挑战,这表明了AI模型改进的领域.

结论:

• 人工智能,特别是像GPT这样的高级LLM,具有显著的潜力,可以提高精神病学中的诊断准确性.
• GPT模型的卓越性能与其先进的自然语言处理和广泛的训练数据有关.
• 建议进一步研究涉及更大的数据集和多模式数据集成,以推进AI在精神病学中的诊断能力.