大型语言模型在从非结构化的临床笔记中检测术后妄想的有效性:一项回顾性队列研究
Da-In Eun1,2,3, Hyung-Chul Lee1,2,3, Gang Heo2
1Interdisciplinary Program in Medical Informatics, Seoul National University, Seoul, Republic of Korea.
NPJ digital medicine
|December 13, 2025
概括
像Llama-3-70B和GPT-4o这样的大型语言模型 (LLM) 在早期术后妄想 (POD) 检测方面表现有前途. 与医生相比,这些人工智能工具提供了更高的灵敏度和更快的诊断,有助于及时照顾患者.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 临床决策支持系统 临床决策支持系统
背景情况:
- 术后妄想 (POD) 的早期鉴定是一个重大的临床挑战.
- 医生目前的诊断方法可能缺乏最佳的灵敏度和及时性.
- 先进的人工智能,特别是大型语言模型 (LLM) 的临床预测潜力正在出现.
研究的目的:
- 为了比较LLMs (Llama-3-70B,GPT-4o) 与医生在预测临床显著POD方面的表现.
- 评估基于LLM的预测与医生诊断的灵敏度,特异性和评审者之间的一致性.
- 评估与传统医生评估相比,LLM对POD检测的及时性.
主要方法:
- 追溯观察性研究设计.
- 使用c统计,灵敏度和特异性的预测性能比较.
- 使用Fleiss' kappa.评估评价者间协议的评估.
- 卡普兰-梅尔分析来比较LLMs和医生之间的诊断时间.
主要成果:
- 在LLM中,预测性表现强 (c-统计:Llama-3-70B=0.74,GPT-4o=0.76).
- 与医生相比,LLM表现出更高的灵敏度,但较低的特异性.
- 对于法学士来说,近乎完美的评价者间协议 (kappa>0.85) 与对医生的公平协议 (kappa=0.219) 相比.
- 在临床上,LLM检测到临床上显著的POD比医生早大约一天 (中位时间:LLM 34.5-37.5h与医生62.9h).
结论:
- 在临床上显著的POD早期和可重复检测方面,LLM显示出作为有效工具的潜力.
- 在医生监督下,将LLM作为补充查工具的整合可以提高诊断的准确性和及时性.
- 对监督LLM部署的进一步研究是有必要的,以优化POD管理.
相关概念视频
Language and Cognition
Language serves as a bridge between ideas and communication, influencing how individuals perceive and interact with the world. Psychologists have long debated whether language shapes thought or vice versa. This discussion gained grip with Edward Sapir and Benjamin Lee Whorf in the 1940s, who proposed that language determines thought, a concept known as linguistic determinism. They suggested that the vocabulary and structure of a language influence how its speakers think and perceive reality.
Automatic Processing and Automatic Social Behavior
Automatic processing refers to the cognitive operations that occur without conscious intent or awareness, playing a fundamental role in shaping social cognition and behavior. These processes enable individuals to navigate complex social environments efficiently by relying on mental shortcuts and pre-existing knowledge structures known as schemas. One of the most influential mechanisms underlying automatic processing is priming, which subtly activates mental representations through exposure to...


