向超级计算设施传输大规模显微镜数据

科学领域:

• 材料科学 材料科学 材料科学
• 数据科学数据科学数据科学
• 科学计算科学计算

背景情况:

• 在实验工作流程中数据生成率的增加需要先进的数据管理解决方案.
• 传统的基于文件的数据传输方法对高通量科学仪器变得不切实际.
• 美国国家电子显微镜中心的4D摄像机生产大量数据集 (15秒内700GB),需要高效的处理.

研究的目的:

• 开发和评估一种用于管理大规模科学数据的新型流媒体工作流.
• 解决高容量数据采集环境中传统文件传输方法的局限性.
• 改进数据处理时间,并在实验研究中实现实时决策.

主要方法:

• 开发了一个流媒体管道,通过高速网络将4D相机的数据采集系统连接到超级计算机节点.
• 绕过中间文件存储,直接传输数据进行处理.
• 进行了一小时的实验,生成超过10TB的原始数据,以证明工作流的有效性.
• 进行了尸体分析,将流媒体工作流与使用历史用户数据的传统文件传输方法进行比较.

主要成果:

• 流媒体工作流在生产环境中成功处理了超过10TB的原始数据,产生了高质量的数据集.
• 与传统的文件传输工作流程相比,数据处理时间显著改善.
• 在实验期间启用实时决策能力.
• 通过在数据传输过程中消除手动用户交互来最大限度地减少人为错误.

结论:

• 开发的流媒体工作流是有效的管理大规模的科学数据从高体积的仪器.
• 这种方法比传统的文件传输方法提供了实质性的优势,包括速度和可靠性.
• 工作流促进了先进的数据分析,并支持实时的实验调整.