专有大型语言模型在标记产科事件报告中的准确性
Joint Commission journal on quality and patient safety
|September 10, 2024
概括
大型语言模型 (LLM) 可以有效地标记产科事故报告,提高患者安全. 这项研究表明,LLM为分析定性安全数据和识别危害预防机会提供了有希望的工具.
科学领域:
- 医疗信息学 医疗信息学
- 患者安全 患者安全
- 自然语言处理自然语言处理.
背景情况:
- 事件报告系统产生大量的定性数据,这给分析带来了挑战.
- 大型语言模型 (LLM) 提供先进的文本总结和标签功能.
- 实际上,LLM可能会提高安全数据的趋势和早期识别患者伤害预防策略.
研究的目的:
- 评估专有大型语言模型 (GPT-3.5) 在自动标记现实世界产科事故报告中的能力.
- 为了评估LLM生成的标签与人类临床医生注释的准确性.
主要方法:
- 分析了370份产科事故报告的样本.
- 人类临床医生审稿人提供黄金标准标签进行比较.
- 要求LLM使用其预先训练的知识来标记报告,并提供信息.
主要成果:
- 在标记事件报告方面,LLM实现了高灵敏度 (85.7%) 和特异性 (97.9%).
- 该模型产生了更多的标签 (79) 比人类审稿人 (49).
- 积极的预测值为53.2%,负的预测值为99.6%.
结论:
- 专有LLM在以高准确度标记产科事故报告方面表现出显著的能力.
- 实际上,LLM有可能更有效地利用事件报告系统中的数据.
- 这项技术可以通过增强的数据分析来支持改善患者安全.
更多相关视频
09:09Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody
Published on: September 27, 2024
420
07:31Implementation of a Real-Time Psychosis Risk Detection and Alerting System Based on Electronic Health Records using CogStack
Published on: May 15, 2020
7.0K
