一个快速的机器学习数据加载器,用于从BigWig文件中的表观遗传轨迹
Joren Sebastian Retel1, Andreas Poehlmann1, Josh Chiou1
1Machine Learning Research, Pfizer Worldwide Research Development and Medical, Friedrichstraße 110, Berlin 10117, Germany.
Bioinformatics (Oxford, England)
|January 4, 2024
概括
我们开发了bigwig-loader,这是一个有效地处理机器学习BigWig文件的表观遗传数据的工具. 它使用GPU加速解压,使训练批量创建速度更快,而不需要保存预处理的数据.
科学领域:
- 计算生物学 计算生物学
- 生物信息学是一种生物信息学.
- 机器学习 机器学习
背景情况:
- 表观遗传特征对于理解基因调节至关重要.
- 处理大型表观遗传数据集用于机器学习是计算密集的.
- 现有的方法通常需要大量存储预处理数据.
研究的目的:
- 开发一个高效的数据加载器,用于从BigWig文件中的表观遗传特征.
- 为了使多个间隔和文件的并行处理.
- 促进实时为机器学习模型创建培训批次.
主要方法:
- 推出了一个新的数据加载器bigwig-loader.
- 实现了 BigWig 文件的并行解压和处理.
- 使用了一个新的编解码器来实现GPU加速解压缩.
主要成果:
- 实现了对表观遗传特征的高效并行数据加载.
- 在模型训练期间启用飞行训练批量创建.
- 消除了对大量预处理数据存储的需求.
结论:
- bigwig-loader显著加速了表观遗传学数据的机器学习工作流.
- 用GPU加速处理为大型表观遗传数据集提供了可扩展的解决方案.
- 这种工具提高了表观遗传学研究的可访问性和效率.


