易于使用的调度器 使用混合架构和超级计算来处理大数据

科学领域:

• 生物信息学是一种生物信息学.
• 计算生物学 计算生物学
• 基因组学就是基因组学.

背景情况:

• 欧米克数据的数量呈指数级增长,需要先进的数据管理解决方案.
• 目前的生物信息工作流程在存储,传输和处理方面面临着挑战.
• 高性能计算 (HPC) 的高效资源利用对于大规模数据分析至关重要.

研究的目的:

• 为优化生物信息学工作流程开发一种新的调度器.
• 为了使工作流程步骤的透明映射到不同的执行环境,包括HPC集群.
• 提高资源利用率,减少omics数据处理的成本和时间.

主要方法:

• 使用 Temporal.io 工作流程框架来开发调度器.
• 实现了一个图形用户界面 (GUI) 以便于用户友好的工作流管理.
• 为工作流程开发了一个通用的,平台无关的JSON表示.
• 创建了一个自定义执行器插件,用于将工作流 (例如,Nextflow) 转换为JSON格式.
• 启用异步工作流执行,以更好地利用资源.

主要成果:

• 调度器通过SLURM成功地将工作流程步骤映射到HPC资源.
• 异步执行确保了合理的资源利用.
• 通用JSON格式抽象了特定平台的细节.
• 批量RNA测序工作流程的基准测试证明了成本和时间的降低.
• 图形用户界面为非技术用户提供了方便的使用方便.

结论:

• 拟议的调度器为生物信息学工作流程提供了显著的优化.
• 跨平台的方法提高了omics数据分析的可访问性和效率.
• 这种方法有效地解决了omics数据的指数增长所带来的挑战.