在挖矿基因关系和途径知识中对大型语言模型进行全面评估
Muhammad Azam1,2, Yibo Chen1,2,3, Micheal Olaolu Arowolo1,2
1Department of Electrical Engineering and Computer Science, University of Missouri, Columbia, Missouri, USA.
Quantitative biology (Beijing, China)
|October 4, 2024
概括
大型语言模型 (LLM) 可以提取基因网络和通路映射的生物知识. 基于API的模型,如GPT-4和Claude-Pro,优于开源选项,但仔细的选择对于有效的基因调节关系和KEGG通路分析至关重要.
科学领域:
- 生物信息学是一种生物信息学.
- 计算生物学 计算生物学
- 基因组学就是基因组学.
背景情况:
- 手册文献策划努力跟上生物学发现的步伐.
- 在庞大的文本体上训练的大型语言模型 (LLM) 具有提取生物知识的潜力.
- 可以将LLM作为生物知识图用于分析基因网络和通路.
研究的目的:
- 评估21个大型语言模型 (LLM) 在获取生物知识方面的表现.
- 评估LLM在预测基因调节关系 (激活,抑制,酸化) 和基因和基因组 (KEGG) 基因百科全书 (Kyoto Encyclopedia of Genes and Genomes) 路径组件方面的能力.
- 为了比较基于API的LLM与开源LLM在生物知识提取方面的有效性.
主要方法:
- 评估了21个LLM,包括基于API和开源模型.
- 专注于预测基因调节关系和识别KEGG通路组件的评估.
- 使用F1评分用于基因调节关系和KEGG通路的Jaccard相似性来量化性能.
主要成果:
- 在评估的LLMs中观察到显著的绩效差异.
- 基于API的模型GPT-4和Claude-Pro在两个任务中都表现出了卓越的性能.
- 开源模型通常落后,其中猎-180b和2-7b的得分最高.
结论:
- LLM是基因网络分析和路径映射的宝贵工具,为生物知识提取提供了洞察力.
- 模型选择至关重要,因为不同LLM之间的性能差异很大.
- 本研究提供了一个基准和案例研究,用于利用LLM作为生物研究中的知识图.
相关概念视频
Evolutionary Relationships through Genome Comparisons
5.7K
Genome comparison is one of the excellent ways to interpret the evolutionary relationships between organisms. The basic principle of genome comparison is that if two species share a common feature, it is likely encoded by the DNA sequence conserved between both species. The advent of genome sequencing technologies in the late 20th century enabled scientists to understand the concept of conservation of domains between species and helped them to deduce evolutionary relationships across diverse...
5.7K
Genome Annotation and Assembly
18.8K
The genome refers to all of the genetic material in an organism. It can range from a few million base pairs in microbial cells to several billion base pairs in many eukaryotic organisms. Genome assembly refers to the process of taking the DNA sequencing data and putting it all back together in a correct order to create a close representation of the original genome. This is followed by the identification of functional elements on the newly assembled genome, a process called genome annotation.
18.8K


