将变压器缩放为高维稀疏数据:用于大规模分类的Reformer-BERT方法
Wanxuan Li1,2, Xinhua Li3, Weihang Guo1
1Department of Urology, Inner Mongolia People's Hospital, Inner Mongolia Urological Institute, Hohhot, China.
Frontiers in artificial intelligence
|December 3, 2025
概括
这项研究介绍了scReformer-BERT,这是一个新的AI模型,用于使用单细胞RNA测序数据进行自动化细胞类型分类. 它准确地识别主要的细胞类别,提高生物研究的效率和精度.
科学领域:
- 基因组学和生物信息学
- 计算生物学 计算生物学
- 分子生物学分子生物学
背景情况:
- 准确的人类细胞类型识别对于生物研究至关重要.
- 单细胞RNA测序 (scRNA-seq) 数据的手动注释由于高维度而具有挑战性.
- 需要自动化方法来高效准确地分类细胞类型.
研究的目的:
- 开发和评估一个强大的,大规模的预训练模型,用于自动化的细胞类型分类.
- 专注于使用scRNA-seq数据对主要人类细胞类别进行分类.
- 提高高通量基因组研究中细胞识别的效率和精度.
主要方法:
- 开发了scReformer-BERT,将BERT架构与Reformer编码器集成在一起.
- 在大型scRNA-seq数据集上进行自我监督的预训.
- 利用监督微调,五倍交叉验证,切除研究和SHAP分析进行优化和解释.
主要成果:
- scReformer-BERT模型在分类主要细胞类别方面表现出卓越的有效性.
- 用scRNA-seq数据对已建立的基线方法进行性能评估.
- 该模型与现有方法和固有的现场挑战相比,显示了显著的改进.
结论:
- scReformer-BERT模型提供了一种强大,有效和可解释的解决方案,用于从scRNA-seq数据中自动分类细胞类型.
- 该模型的性能突显了其在增强基因组研究中的细胞识别方面的实用性.
- 这种方法推进了复杂生物数据集的自动化分析.
