对大型语言模型的性能评估,以从临床笔记中提取迹象和症状

科学领域:

• 人工智能在医学中的应用
• 临床信息学 临床信息学
• 自然语言处理自然语言处理.

背景情况:

• 非结构化的临床笔记包含了重要的患者信息,这些信息通常会在结构化的电子健康记录 (EHR) 中遗漏.
• 大型语言模型 (LLM) 提供了从这些笔记中提取关键数据的潜力.
• 准确的征兆和症状 (S&S) 提取对于临床决策和研究至关重要.

研究的目的:

• 评估GPT-4o LLM在从临床笔记中提取一般和器官特定的S&S的有效性.
• 将GPT-4o的性能与手动注释的数据进行比较.
• 在一般和专业医疗领域评估模型的精度,回忆和F1分数.

主要方法:

• 用MTSamples体的临床笔记进行分析.
• 手动注释了一部分笔记,用于基准真相比较.
• 应用GPT-4o与命名实体识别技术用于S&S提取.
• 计算精度,回忆和F1得分以量化性能.

主要成果:

• 在一般的S&S提取 (78%) 中,GPT-4o表现出高精度.
• 在心肺 (87%) 和泌尿器官 (81%) 数据集中,器官特异性提取显示出极好的精度.
• 召回和F1分数在各个分析中都得到了平衡,表明了一致的表现.

结论:

• GPT-4o有效地从临床文本中提取一般和特定领域的迹象和症状.
• 建议对特定领域进行调整和优化,以提高专业医疗环境中的回忆和概括性.
• 从非结构化的EHR笔记中提取临床数据,LLM显示出了增强临床数据提取的希望.