用GeneTuring对基因知识进行大型语言模型的基准测试
Xinyi Shang1, Xu Liao1, Zhicheng Ji2
1Department of Biostatistics, Mailman School of Public Health, Columbia University, 722 West 168th Street, New York, NY 10032, United States.
我们创建了GeneTuring,这是一个基因组学基准,用于评估大型语言模型 (LLM). 定制GPT-4o工具SeqSnap表现最好,显示了LLM.
科学领域:
- 基因组学就是基因组学.
- 生物信息学是一种生物信息学.
- 人工智能的人工智能
背景情况:
- 大型语言模型 (LLM) 显示了生物医学研究的潜力.
- 对于基因组调查而言,LLM的有效性尚未得到充分证实.
- 需要对基因组学中的LLM进行标准化评估.
研究的目的:
- 开发一个全面的基准来评估在基因组学LLMs.
- 评估各种LLM配置对基因组学任务的性能.
- 确定将LLM纳入基因组研究的最佳策略.
主要方法:
- 创建了GeneTuring,一个基因组学任务和1600个精心策划的问题的基因测试标准.
- 手动评估来自10个LLM配置的48,000个答案.
- 使用NCBI API开发SeqSnap,使用NCBI API进行定制GPT-4o配置.
主要成果:
- 在评估的LLMs中,SeqSnap取得了最好的整体表现.
- 具有网络访问的GPT-4o和GeneGPT显示了互补的优势.
- 在当前的基因组应用中,LLM既有前途又有局限性.
结论:
- 基因定律为基因组学中的LLM进行基准测试和推进提供了宝贵的资源.
- 将LLM与SeqSnap等特定领域工具集成,可以增强基因组智能.
- 需要进一步的研究,以克服当前LLM在复杂的基因组任务中的局限性.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
08:03Heuristic Mining of Hierarchical Genotypes and Accessory Genome Loci in Bacterial Populations
Published on: December 7, 2021
相关概念视频
Evolutionary Relationships through Genome Comparisons
Genomics
Genome Size and the Evolution of New Genes
Genome Size and the Evolution of New Genes
Genome Annotation and Assembly
Genome-wide Association Studies-GWAS
GWAS does not require the identification of the target gene involved in...
