在SLAC和NERSC实时XFEL数据分析:新兴的超大规模实验数据分析的试运行
Johannes P Blaschke1, Aaron S Brewster2, Daniel W Paley2
1National Energy Research Scientific Computing Center, Lawrence Berkeley National Laboratory, 1 Cyclotron Road, Berkeley, CA 94720, USA.
概括
现在可以对X射线自由电子激光 (XFEL) 数据进行实时分析,仅在10分钟内实现分子重建. 这一突破使得能够做出明智的实验决策,并与快速增长的数据速率保持同步.
科学领域:
- 结构生物学是结构生物学.
- 计算科学是一种计算科学.
- 生物物理学的生物物理.
背景情况:
- 使用自由电子激光器 (XFEL) 的X射线散射实验对于确定分子结构和功能至关重要.
- 高成本和不断增长的数据速率需要XFEL实验的更快的分析.
- 实时分析对于做出关于实验协议的明智决策至关重要.
研究的目的:
- 报告从Linac连贯光源 (LCLS) 实验分析XFEL数据的经验.
- 展示实现实时数据分析的工作流程.
- 建立与XFEL数据采集率相匹配的数据分析率.
主要方法:
- 利用超级设施模式在LCLS和NERSC之间进行自动数据传输.
- 使用CCTBX软件包分析了NERSC的Cori XC40系统的原始数据.
- 开发了一种快速数据处理的工作流程,从获取到分子重建.
主要成果:
- 实现实时数据分析,周转时间短至10分钟.
- 使实验经营者能够根据即时结果做出明智的决策.
- 将数据分析速度与数据采集速度相匹配,这是XFEL实验中的首次.
结论:
- 实时XFEL数据分析是可行的,并且对于跟上数据收集趋势至关重要.
- 证明的工作流程代表了XFEL研究的一个重要里程碑.
- 自动互操作性和高性能计算是推动XFEL数据分析的关键.

