在随机对照试验中使用大型语言模型 (Elicit) 和人类审查员的数据提取:系统比较
Joleen Bianchi1,2, Julian Hirt1,3,4, Magdalena Vogt1
1Department of Health Eastern Switzerland University of Applied Sciences St. Gallen Switzerland.
提取,一个人工智能工具,部分提取数据进行系统审查,但需要人类验证准确性. 人类审查员对于确保从随机对照试验中提取完整和正确的数据至关重要.
科学领域:
- 医学研究方法论医学研究方法论.
- 医疗保健中的人工智能
背景情况:
- 系统性审查对于基于证据的医学至关重要,但需要大量的劳动力.
- 像Elicit这样的人工智能 (AI) 工具可以简化系统审查流程,特别是数据提取.
- 对于数据提取的Elicit的准确性和性能尚未得到独立的验证.
研究的目的:
- 为了比较随机对照试验 (RCT) 数据提取的准确性,使用人工智能工具Elicit与人类审稿人.
- 评估Elicit在RCT中的各种数据变量中的表现.
主要方法:
- 对来自11个国家的20个不同医疗保健主题的RCT进行了比较分析.
- 数据提取由Elicit和人类审查员对预定义的变量进行:研究目标,样本特征/大小,研究设计,干预,结果和干预效应.
- 与人类提取相比,提取的数据被分类为"更多"",等于"",部分等于"或"偏离",使用STROBE检查表进行报告.
主要成果:
- 在七个变量中,Elicit 显示了部分准确性,在29.3%的数据中提取了"更多"数据,在20.7%的数据中提取了"相等"数据,在45.7%的数据中提取了"部分相等"数据,在4.3%的数据中提取了"偏离"数据.
- 在提取研究设计 (100% "更多") 和样本特征 (45% "更多") 方面,Elicit表现出色.
- 对于像"干预效应"和"干预"这样的复杂变量,Elicit的提取不那么详细,95%的提取被评为"部分相等".
结论:
- 提取可以部分提取数据进行系统审查,但需要人类监督细微的变量.
- 人类审查员对于确保数据提取的完整性和准确性至关重要,特别是对于干预细节和影响.
- 虽然人工智能工具可以促进数据提取,但对于可靠的系统审查,人类审核员的验证是必要的.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
06:48Lexical Decision Task for Studying Written Word Recognition in Adults with and without Dementia or Mild Cognitive Impairment
Published on: June 25, 2019
相关概念视频
Group Design
Bioequivalence Experimental Study Designs: Repeated Measures, Cross-Over, Carry-Over, and Latin Square Designs
Bioequivalence Experimental Study Designs: Completely Randomized and Randomized Block Designs
Data Collection by Experiments
An example of the experimental method is a public...
Randomized Experiments
Simple randomization
Simple...
Types of Biopharmaceutical Studies: Controlled and Non-Controlled Approaches
Non-controlled studies, commonly employed for initial exploration, lack a control group, rendering them susceptible to biases and external influences. In contrast,...
