自动标准 (AutoCriteria):一个可泛化的临床试验资格标准提取系统,由大型语言模型提供动力
Surabhi Datta1, Kyeryoung Lee1, Hunki Paek1
1Melax Technologies, Houston, TX 77030, United States.
Journal of the American Medical Informatics Association : JAMIA
|November 12, 2023
概括
一个新的系统,AutoCriteria,使用大型语言模型从文档中提取临床试验资格标准,实现各种疾病的高精度. 这种自动化的方法显示出对简化临床试验应用的希望.
科学领域:
- 生物医学信息学 生物医学信息学
- 临床试验管理 临床试验管理
- 自然语言处理自然语言处理.
背景情况:
- 临床试验的资格标准是复杂的,手工提取需要很长时间.
- 自动化提取资格标准可以加速试验招聘和研究.
研究的目的:
- 开发一个可通用的信息提取系统,AutoCriteria,使用大型语言模型.
- 从临床试验协议中提取细粒度的资格标准和上下文属性.
- 评估系统的性能,并确定其优势和局限性.
主要方法:
- 使用了来自clinicaltrials.gov.gov的数据.
- 开发了AutoCriteria,其中包含预处理,知识摄入,提示建模 (GPT) 和后处理的模块.
- 在9种疾病的180个手动注释试验中评估了该系统.
主要成果:
- 在9种疾病中获得了标准实体提取的89.42%的F1总得分.
- 在非酒精性脂肪肝炎 (95.44%) 和乳腺癌 (84.10%) 中表现出高性能.
- 在识别上下文信息方面达到78.95%的准确性,在逻辑解释方面有优势.
结论:
- 自动标准显示出从临床试验文件中自动,细粒度的资格标准提取的巨大潜力.
- 该系统的提示在不同疾病领域很好地泛化,处理复杂的情景.
- 自动标准为现实世界的临床试验应用提供了一个可扩展的解决方案.
更多相关视频
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
15.9K
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
241
