TRPXv2.0:超快速,平行压缩衍射模式和图像,与本地Python和HDF5支持
S Matinyan1, P Filipcik2, D G Waterman3
1Biozentrum, University of Basel, Basel, Switzerland.
Ultramicroscopy
|December 23, 2025
概括
新的TRPXv2.0算法显著加速结构生物学数据压缩,为大型数据集提供更快的处理和更好的文件大小. 这种先进的压缩技术在高通量科学工作流程中增强了数据处理.
科学领域:
- 结构生物学 结构生物学
- 计算生物学 计算生物学
- 数据科学数据科学数据科学
背景情况:
- 结构生物学中的数据量迅速增加,这给存储,处理和共享带来了重大挑战.
- 现有的压缩方法可能无法满足高通量数据生成的需求.
研究的目的:
- 引入TERSE/PROLIX (TRPX) 算法的增强多线程版本,以实现高效的数据压缩.
- 为各种数据类型提供灵活的压缩选项,包括整数和浮动灰度图像.
主要方法:
- 在C++20中实现TRPX算法的多线程扩展.
- 开发一个Python库 (pyterse) 和一个HDF5过器 (terse) 以实现无工作流集成.
- 与现有压缩方案对比TRPXv2.0使用衍射数据.
主要成果:
- TRPXv2.0实现了压缩速度至少比目前射数据的方法快2.5倍.
- 该算法保持或改善压缩比,而不会增加文件大小.
- 为灰度浮动数据提供无损和有损压缩,并处理低强度的整数图像.
结论:
- TRPXv2.0提供了一个实用且可扩展的解决方案,用于管理大规模的结构生物学数据.
- 该算法的速度,灵活性和互操作性解决了现代结构生物学中的关键数据处理挑战.
- 在高通量环境中促进科学数据的高效存储,处理和共享.


