相关实验视频
Updated: Sep 18, 2025

An R-Based Landscape Validation of a Competing Risk Model
Published on: September 16, 2022
大型语言模型随机对照试验中的辅助偏差风险评估使用修订的偏差风险工具:评估研究
Jiajie Huang1,2, Honghao Lai1,2, Weilong Zhao1,2
1Department of Health Policy and Management, School of Public Health, Lanzhou University, Lanzhou, China.
大型语言模型 (LLM) 在协助偏差风险2 (RoB2) 评估方面表现有前途,大大缩短了评估时间. 虽然不取代人类专家,但LLM提供了一种有价值的工具,可以提高偏见评估的效率.
科学领域:
- 医学研究方法论医学研究方法论.
- 医疗保健中的人工智能
背景情况:
- 偏差风险2 (RoB2) 工具提出了实施挑战,包括低级别之间的可靠性和高时间要求.
- 大型语言模型 (LLM) 正在探索作为RoB2实施的潜在辅助工具,但它们的有效性尚未确定.
研究的目的:
- 评估LLMs在执行偏差风险2评估中的准确性.
- 探索LLM作为临床试验中偏差评估的研究助理的实用性.
主要方法:
- 在Cochrane图书馆系统搜索RoB2评估的评论 (2023年10月).
- 从符合条件的审查中选择了46项随机对照试验 (RCT).
- 由3名经验丰富的审稿人进行独立的RoB2评估,并与LLM的判断与Cochrane评论和审稿人共识进行比较.
主要成果:
- 与柯克兰评论相比,LLM的准确率达到57.5%-70%,与人类评论员相比,达到65%-70%.
- 当判断来自算法处理的信号问题时,LLM的准确性得到改善.
- 平均而言,LLM在1.9分钟内完成了评估,比人类审查员 (31.5分钟) 快得多.
结论:
- 当由结构化提示和推理指导时,LLM在RoB2评估中表现出令人称赞的准确性.
- 法律学显示出强大的潜力,作为偏见评估的辅助工具,补充人类专业知识.
- 建议通过更大的研究和优化的提示策略进行进一步的研究,以提高LLM的绩效.
更多相关视频
07:31Implementation of a Real-Time Psychosis Risk Detection and Alerting System Based on Electronic Health Records using CogStack
Published on: May 15, 2020
08:36Author Spotlight: Evaluating the Adjuvant Efficacy and Safety of Angong Niuhuang Pill in Viral Encephalitis Treatment
Published on: April 19, 2024
相关概念视频
Types of Biopharmaceutical Studies: Controlled and Non-Controlled Approaches
Non-controlled studies, commonly employed for initial exploration, lack a control group, rendering them susceptible to biases and external influences. In contrast,...
Bias in Epidemiological Studies
Hazard Ratio
For example, in a clinical trial...
Bias
In statistics, a sampling bias is created when a sample is collected from a population, and some members of the population are not as likely to be chosen as others (remember, each member...
Relative Risk
Odds Ratio