随机对照试验中的大型语言模型 设计:观察性研究
Liyuan Jin1, Jasmine Chiat Ling Ong1,2, Kabilan Elangovan3
1Duke-NUS Medical School, 8 College Road, Singapore, 169857, Singapore, 65 66016503.
大型语言模型 (LLM) 在改进随机对照试验 (RCT) 设计,增强招聘和通用性方面表现有前途. 虽然在干预规划方面有效,但LLM需要专家监督资格标准和结果措施,以确保安全和道德标准.
科学领域:
- 临床试验设计 临床试验设计
- 医疗保健中的人工智能
- 医学研究方法学 医学研究方法学
背景情况:
- 随机对照试验 (RCT) 面临重大挑战,包括有限的概括性,参与者多样性不足和高失败率.
- 这些局限性往往源于严格的资格标准和低效的患者选择过程.
- 大型语言模型 (LLM) 在临床应用中显示出潜力,但它们在优化RCT设计中的作用在很大程度上尚未被探索.
研究的目的:
- 调查LLM,特别是GPT-4-Turbo-Preview在协助RCT设计方面的能力.
- 评估LLM在提高RCT通用性,招聘多样性和降低失败率方面的潜力.
- 评估LLM辅助的RCT设计,同时维护临床安全和伦理标准.
主要方法:
- 一项观察性研究分析了20个并行臂RCT (10项已完成,10项已注册) 发表于2024年1月之后.
- 在提供标准的基础上,LLM生成RCT设计,包括资格,招聘,干预和结果.
- 临床专家和NLP指标 (BLEU,ROUGE-L,METEOR) 的定量评估与clinicaltrials.gov数据对LLM设计准确性进行了评估;定性评估使用了利克特安全性,准确性,偏见,实用性,包容性和多样性的等级.
主要成果:
- 在复制RCT设计方面,LLM实现了72%的整体准确性,在招聘 (88%) 和干预 (93%) 设计方面具有很高的准确性.
- 在设计资格标准 (55%) 和结果测量 (53%) 中观察到更低的准确性.
- 定性评估表明有强烈的临床一致性,LLM产生的设计在安全性,准确性和客观性方面与原始设计相似,同时增强了多样性和务实性.
结论:
- 课程课程展示了提高RCT设计的巨大潜力,特别是在招聘和干预策略方面,提高了普遍性和多样性.
- 专家监督和监管框架对于确保LLM辅助RCT设计的患者安全和伦理合规至关重要.
- 需要进一步完善LLM,以克服符合资格标准和结果测量的局限性,以便更广泛地应用临床试验.
更多相关视频
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
08:05Measuring Statistical Learning Across Modalities and Domains in School-Aged Children Via an Online Platform and Neuroimaging Techniques
Published on: June 30, 2020
相关概念视频
Bioequivalence Experimental Study Designs: Repeated Measures, Cross-Over, Carry-Over, and Latin Square Designs
Group Design
Study Designs in Epidemiology
Observational studies are those where the researcher does not intervene but rather observes natural variations. They include cross-sectional, cohort, and...
Bioequivalence Experimental Study Designs: Completely Randomized and Randomized Block Designs
Randomized Experiments
Simple randomization
Simple...
Observational Studies
There are three types of observational studies – Prospective, retrospective, and cross-sectional.
Prospective Study
Prospective studies, also known as longitudinal or cohort studies, are carried out by collecting future data from groups sharing similar characteristics. One...
