AlpaPICO:使用LLMs从临床试验文件中提取PICO框架
Madhusudan Ghosh1, Shrimon Mukherjee1, Asmit Ganguly2
1School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science, India.
Methods (San Diego, Calif.)
|April 21, 2024
概括
这项研究引入了无监督和调整指令的大型语言模型 (LLM) 来自动从临床试验中提取人口,干预,比较器和结果 (PICO). 基于LLM的方法通过绕过手动数据注释来简化系统审查,实现最先进的结果.
科学领域:
- 自然语言处理 (NLP) 是一种自然语言处理.
- 生物医学信息学 生物医学信息学
- 临床试验分析
背景情况:
- 系统性审查对于以证据为基础的医学至关重要,但由于临床试验出版物的数量不断增加而受到阻碍.
- 手动提取人口,干预,比较器和结果 (PICO) 元素是耗时和劳动密集的.
- 现有的自动化 PICO 提取方法通常需要大量的手动注释数据集,从而限制了它们的可扩展性.
研究的目的:
- 开发和评估无监督和监督的大型语言模型 (LLM) 框架,用于从临床试验报告中自动提取PICO.
- 利用LLM的预先训练知识,在无监督环境中进行PICO术语提取,减少对标记数据的依赖.
- 为了证明使用低等级调整 (LORA) 调整指令的有效性,以在资源有限的环境中实现高性能PICO提取.
主要方法:
- 使用上下文学习 (ICL) 与预先训练的LLM (AlpaCare) 进行无监督的PICO术语提取.
- 在AlpaCare上使用LORA调整员工指令以进行监督的PICO术语提取,优化低资源环境中的性能.
- 在各种PICO数据集 (EBM-NLP,EBM-COMET,EBM-NLPrev,EBM-NLPh) 上评估了ICL和指令调整框架.
主要成果:
- 基于ICL的无监督框架在各种EBM-NLP数据集版本中取得了可比的结果.
- 使用LORA的指令调整框架在所有经过测试的EBM-NLP数据集上展示了最先进的性能.
- 这两种方法都成功地从临床试验文件中提取了与PICO相关的术语,展示了LLM的有效性.
结论:
- 基于LLM的方法,特别是使用LORA调整指令,为自动PICO提取提供了强大而高效的解决方案.
- 这些方法显著减少了系统审查所需的手工工作,加速了证据综合.
- 开发的框架为研究人员分析临床试验数据提供了可扩展和有效的工具.
相关概念视频
Clinical Trials
11.2K
Clinical trials are prospective experimental studies conducted on humans to determine the safety and efficacy of treatments, drugs, diet methods, and medical devices. Using statistics in clinical trials enables researchers to derive reasonable and accurate conclusions from the collected data, allowing them to make wise decisions in uncertain situations. In medical research, statistical methods are crucial for preventing errors and bias.
There are four phases in a clinical trial. A phase one...
There are four phases in a clinical trial. A phase one...
11.2K
Clinical Trials: Overview
5.5K
Clinical development focuses on how the drug will interact with the human body and encompasses four key phases of clinical trials, each serving a specific purpose in assessing the safety and effectiveness of new drugs. These phases overlap and build upon one another. Phase I involves a small group of healthy volunteers (typically 20-80 individuals) or, in cases where significant toxicity is expected, patients with the targeted disease, such as cancer or AIDS. The volunteers are tested for...
5.5K


