相关实验视频
Updated: May 14, 2026

Large-Scale Screens of Metagenomic Libraries
Published on: May 28, 2007
高性能自动化抽象选使用大型语言模型组合
Rohan Sanghera1,2, Arun James Thirunavukarasu1,3, Marc El Khoury4,5,6
1Oxford University Hospitals NHS Foundation Trust, Oxford OX3 9DU, United Kingdom.
大型语言模型 (LLM) 在自动化系统审查的抽象选方面表现有前途,显著减少工作量,并可能提高准确性. 士-人类合奏提供了一个平衡的方法,保持监督,同时利用人工智能的效率.
科学领域:
- 医疗信息学 医疗信息学
- 研究中的人工智能.
- 系统审查方法论 系统审查方法论
背景情况:
- 系统性审查对于证据综合至关重要,但涉及劳动密集型的抽象选.
- 自动化抽象选可以解决系统审查中的重大工作量和时间限制.
研究的目的:
- 为了验证大型语言模型 (LLM) 的准确性,在系统审查中自动化抽象选.
- 将LLM的表现与人体查进行比较,并评估组合方法.
主要方法:
- 六个LLM (GPT-3.5 Turbo,GPT-4 Turbo,GPT-4o,Llama 3 70B,Gemini 1.5 Pro,Claude Sonnet 3.5) 在23个Cochrane图书馆系统审查中进行了测试.
- 在开发数据集 (n=800) 上确定了最佳提示策略,并在更大的数据集 (n=119,695) 上验证.
- 性能指标包括灵敏度,精度和平衡的准确性;组合方法 (LLM-human,LLM-LLM) 也被评估.
主要成果:
- 在灵敏度,精度和平衡的准确性方面,LLM在开发数据集上的人类查中表现优于人类查.
- 在较大的数据集中,LLM 保持了高灵敏度,但由于类不平衡,精度下降.
- 在LLM-human和LLM-LLM组合中,实现了完美的灵敏度和显著的工作量减少 (37.55%-99.11%).
结论:
- 使用LLM的自动抽象选可以减少工作量,并保持或提高系统审查的质量.
- 由于不同审查的性能差异,域特定验证至关重要.
- LLM-人类合奏提供了一种可行的方法,以持续的人类监督有效选.
更多相关视频
06:46Automated, Long-term Behavioral Assay for Cognitive Functions in Multiple Genetic Models of Alzheimer's Disease, Using IntelliCage
Published on: August 4, 2018
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
相关概念视频
Mass Analyzers: Common Types
Distribution Reliability and Automation
Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
Automatic Processing and Automatic Social Behavior
Mathematical Modeling: Problem Solving
Combining Functions