GPT-4 omni的分类性能和可重复性,用于从兽医电子健康记录中提取信息
Judit M Wulcan1, Kevin L Jacques1, Mary Ann Lee2
1Department of Pathology, Microbiology and Immunology, School of Veterinary Medicine, University of California, Davis, Davis, CA, United States.
Frontiers in veterinary science
|January 31, 2025
概括
像GPT-4o这样的大型语言模型 (LLM) 可以准确地从兽医电子健康记录 (EHR) 中提取数据,在识别猫类慢性肠道病变迹象方面表现优于较旧的模型和人类协议.
科学领域:
- 兽医医学 兽医医学 兽医医学
- 人工智能的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 大型语言模型 (LLM) 显示出从兽医电子健康记录 (EHR) 中提取信息的潜力.
- 之前的研究没有评估LLM之间的性能差异,超参数设置的影响或文本模糊性的影响.
研究的目的:
- 为了比较GPT-4 omni (GPT-4o) 和GPT-3.5 Turbo在从兽医电子健康记录中提取临床信息的性能.
- 为了调查人类观察者间协议和LLM错误在识别猫类慢性肠病征兆之间的关系.
- 与人类专家相比,评估LLM的可复制性.
主要方法:
- GPT-4o和GPT-3.5 Turbo被用于识别250个兽医EHR中猫类慢性肠病的六个临床症状.
- 绩效与五名人类受访者的多数意见相比被评估.
- 使用科恩的卡帕评估了LLM的可复制性,与人类观察者之间的协议相比.
主要成果:
- GPT-4o实现了高性能指标:96.9%的灵敏度,97.6%的特异性,80.7%的正预测值,99.5%的负预测值,84.4%的F1得分,96.3%的平衡准确度.
- GPT-4o显著优于GPT-3.5 Turbo,特别是在灵敏度方面 (96.9%与81.7%相比).
- 与人类对 (0.80) 相比,GPT-4o表现出更高的可复制性 (科恩卡帕0.98),大多数错误与EHR文本模两可有关.
结论:
- GPT-4o是一种可行的替代方案,可以自动从兽医电子健康记录中提取信息.
- 法律学士学位的表现受到电子人才文本中文本模糊性的影响,反映了人类的分歧.
- 在特定的兽医环境中验证LLM对于确保准确性和可靠性至关重要.
