促使和微调大型语言模型用于帕金森病诊断:使用PPMI结构化数据集进行比较评估研究

科学领域:

• 人工智能在医学中的应用
• 计算神经科学是一种神经科学.
• 临床信息学 临床信息学

背景情况:

• 帕金森病 (PD) 诊断是具有挑战性的,因为不同的症状.
• 传统的机器学习 (ML) 模型分析结构化的临床数据.
• 大型语言模型 (LLM) 用于使用自然语言进行PD诊断的实用性在很大程度上尚未被探索.

研究的目的:

• 从结构化临床数据中使用自然语言提示来评估LLM诊断性能.
• 将LLM性能与传统的ML分类器进行比较.
• 评估提示策略和微调对LLM诊断准确性的影响.

主要方法:

• 来自帕金森氏症进展标记计划 (PPMI) 数据集的结构化临床变量被转换为自然语言提示.
• 沙普利增量解释 (SHAP) 确定了前10个特征,删除了多线性变量.
• 评估了LLM的性能,使用了几次射击提示,双输出提示和监督的微调.
• 后勤回归 (LR) 和支持向量机 (SVM) 作为ML基线,F1分数用于评估.

主要成果:

• 在测试组中,LLM在测试组上实现了与LR和SVM (F1得分为0.960) 相同或更高的诊断性能 (F1得分高达0.987).
• 在一个时间验证集上,LLM 显示了持续的高性能,其表现优于明显退化的 SVM.
• 监督微调增强了稳定性,使GPT-4o-mini能够在测试组中获得0.987 F1分.

结论:

• 通过LLM,LLM可以有效地以自然语言处理结构化的临床数据,以诊断PD.
• 法学士的表现受到提示技术,模型选择和数据分布的影响.
• 需要进一步的研究来优化临床数据分析的LLM应用,并确保可靠的概括.