在单细胞数据分析中评估基础模型的实用性

科学领域:

• 计算生物学 计算生物学
• 基因组学就是基因组学.
• 人工智能的人工智能

背景情况:

• 基础模型 (FMs) 越来越多地用于科学研究.
• 它们在单细胞测序数据分析中的应用是一个新兴领域.

研究的目的:

• 为了全面评估FM的性能,单细胞测序数据分析.
• 将FM性能与特定任务的方法进行比较.
• 为培训和评估单细胞FM提供指导方针.

主要方法:

• 在八个下游任务中对十个单细胞FM进行实验性评估.
• 与已建立的特定任务方法进行比较.
• 开发和应用scEval框架用于超参数和稳定性分析.

主要成果:

• scGPT,Geneformer和CellPLM被确定为高性能和可访问的FM.
• 单细胞FM在所有评估任务中并不总是优于特定任务的方法.
• scEval框架提供了关于培训稳定性和超参数效应的见解.

结论:

• 由于与任务特定方法相比,性能可变性,因此对开发单细胞FM的必要性提出了质疑.
• 为提高FM的性能,提出了预培训和微调FM的指导方针.
• 提供一个免费可用的评估管道 (scEval) 用于基准测试和开发新的单细胞FM.