基因LLM:对基于变压器的基因组语言模型进行全面的调查,用于监管和临床基因组学

科学领域:

• 生物信息学和计算生物学
• 基因组学和分子生物学
• 生命科学中的人工智能

背景情况:

• 自然语言处理 (NLP) 和基因组学正在融合.
• 基于变压器的模型,称为基因组大语言模型 (Gene-LLMs),正在出现.
• 基因LLM通过自我监督的预训练使用核酸序列,基因表达和多原子注释来解释基因组数据.

研究的目的:

• 为Gene-LLM生命周期提供全面的概述.
• 详细介绍基因LLM在各种生物领域的应用和影响.
• 概述基因LLM开发和应用的未来方向.

主要方法:

• 基因-LLM生命周期阶段的审查:数据摄入,代币化 (k-mer,基因水平) 和预训任务 (掩盖核酸预测,序列对齐).
• 基因LLM应用的分析:增强剂/促进剂识别,染色体状态建模,RNA-蛋白相互作用预测,合成序列生成.
• 在功能基因组学,临床诊断和进化推断中使用基因LLM影响的评估基准 (CAGI5,GenBench,NT-Bench,BEACON).

主要成果:

• 基因LLM在功能基因组学,临床诊断和进化推断方面产生了重大影响.
• 最近的进展包括编码器-解码器修改和位置嵌入,以提高可解释性和翻译潜力.
• 基因LLM在各种基因组任务中的有效性被基因基因LLM的基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因基因.

结论:

• 基因LLM是生物医学未来的基石技术.
• 未来的途径包括联合基因组学习,多模式序列建模和低资源适应用于罕见变异发现.
• 基因LLM为负责任的生物医学创新提供了一个主动的方法.