评估预培训数据集大小和多样性对单细胞基础模型性能表现的作用
Alan DenAdel1, Madeline Hughes2, Akshaya Thoutam3
1Center for Computational Molecular Biology, Brown University.
bioRxiv : the preprint server for biology
|November 24, 2025
概括
变压器基础模型在单细胞生物学中表现有前途. 这项研究表明,增加预培训数据集大小和多样性会导致回报率下降,而业绩表现会比预期的要早得多.
科学领域:
- 计算生物学 计算生物学
- 基因组学就是基因组学.
- 机器学习 机器学习
背景情况:
- 在NLP和图像分析中取得成功的变压器基础模型,越来越多地应用于单细胞生物学.
- 现有的单细胞基础模型是在大型转录基因数据集上训练的,尺寸可扩展到超过1亿个细胞.
研究的目的:
- 调查前培训数据集的大小和多样性如何影响单细胞基础模型的性能.
- 在各种数据集尺度上评估零射击和微调任务的模型性能.
主要方法:
- 预先训练400个模型,使用2220万个单细胞转录基因数据点的大型数据库.
- 进行了6400个实验来评估模型的性能.
- 在不同的预培训数据集大小和多样性级别中评估绩效.
主要成果:
- 在下游任务上的模型性能,无论是零射击还是微调,都倾向于平稳.
- 即使使用比目前的大公司小得多的预培训数据集,也会达到这种性能高原.
结论:
- 当前的单细胞基础模型可能不需要目前用于最佳性能的大型数据集大小.
- 对最佳数据集组成和模型架构进行进一步的研究是有必要的,以克服性能高原.
更多相关视频
09:34A Combinatorial Single-cell Approach to Characterize the Molecular and Immunophenotypic Heterogeneity of Human Stem and Progenitor Populations
Published on: October 25, 2018
7.0K
11:38Author Spotlight: Enhancing PSC-to-Functional Cell Differentiation Using ML Models Based on Live-Cell Bright-Field Imaging
Published on: October 4, 2024
1.0K
