在生物银行规模上使用Zarr的分析准备的VCF

科学领域:

• 基因组学就是基因组学.
• 生物信息学是一种生物信息学.
• 计算生物学 计算生物学

背景情况:

• 变异调用格式 (VCF) 是遗传变异数据的标准,但对于大型生物库来说效率低下.
• 对于数百TB的基因组数据来说,VCF的行wise编码不适合.
• 需要一种更具可扩展性的方法来处理不断增加的数据集大小.

研究的目的:

• 引入VCF Zarr规范,以有效存储和处理遗传变异数据.
• 为大规模转换到 VCF Zarr 格式提供软件基础设施.
• 为了证明风险投资基金Zarr比传统风险投资基金方法的绩效好处.

主要方法:

• 使用Zarr格式对VCF数据模型进行编码,用于多维数据存储.
• 开发用于高效可靠的大规模数据转换的软件.
• 对比VCF Zarr与使用大型人类和非人类基因组数据集的标准VCF和专业方法.

主要成果:

• 与标准的风险投资基金相比,VCF Zarr的效率明显更高.
• 压缩比和单线性能与专门的基因型存储方法相比具有竞争力.
• 对大型人类数据集 (英格兰基因组学,我们未来的健康,我们所有人) 和全基因组数据集 (挪威,SARS-CoV-2) 的案例研究显示出有希望的结果.
• 插图示例突出了云计算和GPU加速与VCF Zarr. 的潜力.

结论:

• 大量的行编码的VCF文件在当前的研究中构成了一个重要的瓶和成本.
• 基于开源技术的VCF Zarr规范可以大幅降低存储和处理成本.
• VCF Zarr有可能培养一种新的云原生工具生态系统,用于基因变异分析,同时保持与现有工作流程的兼容性.