一个高通量大数据编排和处理系统,用于高能光子源
1Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, People's Republic of China.
Journal of synchrotron radiation
|September 20, 2023
概括
马巴数据工作者 (MDW) 在下一代同步子束线中解决了复杂的数据流挑战. 该软件增强了数据采集,处理和传输,用于HEPS等设施的高通量实验.
科学领域:
- 同步子辐射科学是同步子辐射科学.
- 实验物理学的实验物理.
- 数据科学是数据科学.
背景情况:
- 下一代同步光束线需要先进的解决方案来实现高数据吞吐量和多式联络实验.
- 对数据流管道 (获取,处理,可视化,存储) 的高效编排对于光束线性能至关重要.
研究的目的:
- 介绍Mamba数据工作者 (MDW),一个软件组件,旨在管理复杂的数据挑战在未来的同步机设施.
- 详细介绍MDW的架构,开发计划和技术.
主要方法:
- MDW集成到Mamba实验控制和数据采集软件生态系统中.
- 它支持快速数据采集,传输,动态管道配置,数据复杂化和定制数据/元数据组装.
主要成果:
- MDW 允许高效的数据处理,用于苛刻的同步子实验.
- 该软件已应用于北京同步射线辐射设施 (BSRF).
结论:
- MDW是解决高数据吞吐量同步子实验中的数据挑战的关键组成部分.
- 它的架构和特征对于即将到来的设施,如高能光子源 (HEPS) 的性能至关重要.


