从电子健康记录中提取精神病学表型的大型语言模型
Clara Frydman-Gani1, Alejandro Arias2, Maria Perez Vallejo3
1Center for Neurobehavioral Genetics, Semel Institute for Neuroscience and Human Behavior, David Geffen School of Medicine, University of California Los Angeles, Los Angeles, USA.
微调大型语言模型 (LLM) 从临床笔记中显著改善了精神病学表型检测. 一个新的模型,Mistral-small-psych,准确地识别了西班牙文本中的表型,推进了精确的精神病学研究.
科学领域:
- 精神病学
- 计算语言学
- 生物信息学
背景情况:
- 通过电子健康记录 (EHR) 准确地确定临床表型对于精神病学研究至关重要.
- 从自由文本临床笔记中提取症状级别的信息是具有挑战性的,但至关重要的.
研究的目的:
- 评估11个开源生成型大语言模型 (LLM) 的性能,用于从西班牙临床文本中检测109种精神病类型.
- 与传统的自然语言处理 (tNLP) 方法进行比较.
- 开发和验证精细调整的精神病学表型的LLM.
主要方法:
- 在哥伦比亚精神病诊所的注释EHR笔记上测试了11个生成LLM.
- 在零射击,少数射击和微调设置中评估LLM.
- 将LLM性能与tNLP方法进行比较,并对外部数据进行了精细调整模型的验证.
主要成果:
- 基本的LLM性能较差至中等;微调显著提高了性能 (宏观F1从0.2-0.74到0.75-0.86).
- 一些微调的LLM超越了tNLP方法,可靠地检测了100种表型 (F1>0.8).
- 一个合成数据集使得创建"Mistral-small-psych" (宏-F1=0.79) 成为可能,它很好地对外部数据进行了概括.
结论:
- 特定领域的微调增强了精神病学表型的LLM能力.
- 在西班牙语中,Mistral-small-psych为准确的大规模精神病学表型提供了一个有价值的工具.
- 这项工作通过改进EHR数据的利用来支持全球精确精神病学的进步.
更多相关视频
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
相关概念视频
Statistical Methods for Analyzing Epidemiological Data
Statistical Software for Data Analysis and Clinical Trials
Behavioral Genetics and Its Designs
The primary methodologies used in behavior genetics include family studies, twin studies, and adoption studies, each providing unique...
