LitAutoScreener:由大型语言模型驱动的基于证据的医学中自动化文献选工具的开发和验证
Yiming Tao1, Xuehu Li2, Zuhar Yisha1
1Key Laboratory of Epidemiology of Major Diseases, Ministry of Education/Department of Epidemiology and Biostatistics, School of Public Health, Peking University, Beijing, China.
Health data science
|September 4, 2025
概括
LitAutoScreener使用大型语言模型进行高效的药物研究选,实现高准确度和回忆率. 这种人工智能工具显著加快了基于证据的评估,克服了传统的手工限制.
科学领域:
- 药理学和制药科学
- 医疗信息学
- 医学的人工智能
背景情况:
- 传统的手册文献选药物的有效性和安全性是耗时和劳动密集的.
- 需要利用大型语言模型 (LLM) 来提高基于证据的评估的效率和质量.
- 自动化文献选对于加速药物开发和研究至关重要.
研究的目的:
- 开发和优化LitAutoScreener,这是一款用于药物干预研究的自动化文献选的AI工具.
- 与手动方法相比,使用LLM评估LitAutoScreener的性能准确性和处理效率.
- 根据PICOS原则评估LLM处理复杂查任务的能力.
主要方法:
- 使用手工编制的疫苗,低血糖剂和抗抑郁药物评估研究数据库作为黄金标准.
- 根据PICOS原则开发了使用链式推理方法的选算法.
- 评估LitAutoScreener在标题摘要和全文选方面的独立验证队伍的表现,评估准确性,回忆和处理时间.
主要成果:
- 在疫苗安全性验证的标题摘要选中,LitAutoScreener表现出高准确率 (高达99. 38%) 和回忆率 (100. 00%).
- 与其他LLM相比,GPT-4o模型在包含/排除决策和排除原因一致性方面表现出显著的优势.
- 全文选实现了完美的回忆 (100.00%) 和高精度 (高达100.00%),处理时间显著缩短 (每篇文章秒).
结论:
- 在药物干预研究中,LitAutoScreener提供了一种有效和高效的文献选方法.
- 这种由人工智能驱动的工具可以显著提高选效率,同时保持高精度.
- 在自动化和提高基于证据的药物研究评估质量方面,LLM非常有前途.
