flowSim:用于流细胞计数据的近重复检测
Sebastiano Montante1, Yixuan Chen1, Ryan R Brinkman1,2
1Terry Fox Laboratory, BC Cancer Research, Vancouver, British Columbia, Canada.
概括
flowSim是一个新的算法,可以有效地检测和删除流细胞计 (FCM) 训练集中的冗余数据. 这减少了计算时间,并通过最大限度地减少过拟合来提高机器学习 (ML) 模型性能.
科学领域:
- 计算生物学 计算生物学
- 机器学习 机器学习
- 数据科学数据科学数据科学
背景情况:
- 大数据集对于开发有效的机器学习 (ML) 模型至关重要.
- 流细胞计 (FCM) 产生高维数据,通常含有显著的冗余.
- 冗余数据增加了计算时间,并可能导致ML算法过度拟合.
研究的目的:
- 介绍FlowSim,这是第一个用于可视化,检测和删除FCM数据集中冗余信息的算法.
- 为了减少ML模型的计算训练时间.
- 通过数据优化来减少过拟合,提高ML算法性能.
主要方法:
- flowSim采用了社区检测算法和标记表达值密度分析的组合,用于近重复检测.
- 算法集群FCM数据以识别和量化类似的模式.
- 几乎重复的文件被选择性地从训练集中丢弃.
主要成果:
- flowSim在识别类似模式方面表现出高效率,与双变量FCM数据集上的手动集群相比,平均调整后兰德指数达到0.90.
- 该算法成功识别并删除已知冗余数据集中几乎重复的文件.
- 在一次大规模测试中,flowSim从超过50万条来自公共存储库的数据集中删除了92.6%的FCM图像.
结论:
- flowSim是通过消除冗余性来优化流量细胞计数据的有效工具.
- 该算法显著减少了数据集大小,从而降低了计算成本和更快的ML模型训练.
- 通过减轻过拟合,flowSim有助于在FCM分析中开发更准确和更强大的ML模型.
更多相关视频
08:52Temporal Tracking of Cell Cycle Progression Using Flow Cytometry without the Need for Synchronization
Published on: August 16, 2015
19.3K
14:01Far-Red Fluorescent Senescence-Associated β-Galactosidase Probe for Identification and Enrichment of Senescent Tumor Cells by Flow Cytometry
Published on: September 13, 2022
4.8K
