对开源软件进行审查,以开发用于生物信息学应用的异质数据管理系统
Danilo Silva1,2, Monika Moir1, Marcel Dunaiski2,3
1Centre for Epidemic Response and Innovation (CERI), School of Data Science and Computational Thinking, Stellenbosch University, Stellenbosch, 7602, South Africa.
Bioinformatics advances
|August 5, 2025
概括
生物信息学研究人员面临的数据管理挑战. 本研究探讨了数据湖房,这是一个新的方法,将数据湖的灵活性与数据仓库治理相结合,以便在卫生科学中高效地处理异质数据.
科学领域:
- 生物信息学和健康科学数据管理数据管理
背景情况:
- 生物信息学和健康科学研究人员在管理多样化和复杂的数据集方面遇到了困难.
- 现有的解决方案,如非关系数据库和数据仓库,缺乏所需的灵活性和可扩展性.
- 数据湖提供灵活性,但缺乏强大的治理,阻碍有效的数据管理.
研究的目的:
- 探索数据湖房范式,作为生物信息学中管理异质数据的解决方案.
- 审查开发适合生物信息学研究的数据湖库基础设施的战略和工具.
- 评估生物信息学数据管理的开源和商业解决方案.
主要方法:
- 审查现有的数据管理策略和工具.
- 对生物信息学应用的数据湖模型的概念评估.
- 评估与数据湖的实施相关的开源和商业解决方案.
主要成果:
- 数据库范式通过将数据库灵活性与数据库治理相结合,提供了一个有前途的解决方案.
- 目前,关于在生物信息学领域应用数据湖房模型的文献有限.
- 介绍了开发此类基础设施的战略和工具的综述.
结论:
- 数据湖房提供了一个潜在的强大框架,用于解决生物信息学数据管理的复杂性.
- 需要进一步的研究和开发,以充分探索和实施生物信息学中的Lakehouse解决方案.
- 本综述提供了对生物信息学概念和工具的基本理解.
