在MLExchange中优化对高分辨率图像的细分推断
Shizhao Lu1, Tanny Chavez1, Wiebke Koepp1
1Advanced Light Source, Lawrence Berkeley National Laboratory, Berkeley, CA 94720 USA.
The Journal of supercomputing
|June 23, 2025
概括
我们为同步机用户优化了机器学习 (ML) 图像分割,在单个GPU上实现了3倍的加速度,在100个GPU上超过40倍. 这加速了对大型科学图像数据集的分析.
科学领域:
- 科学成像科学成像
- 机器学习操作机器学习操作.
- 在同步电机设施的数据分析.
背景情况:
- 同步机设备产生大,高分辨率的科学图像,需要高效的分析.
- 目前用于图像分割的机器学习 (ML) 工作流可以是计算密集的,需要大量的手动注释.
- MLExchange为ML驱动的数据分析管道提供基于Web的用户界面 (UI).
研究的目的:
- 为MLExchange平台内的大型数据集优化细分推断工作流.
- 显著减少基于ML的图像分割的计算时间和手动注释工作.
- 为了提高同步机用户对细分结果的可访问性和速度.
主要方法:
- 优化了CPU和GPU之间数据传输的顺序.
- 引入了CPU并行化,用于细分工作流中的关键操作.
- 实施了用于可扩展推理的多GPU策略.
主要成果:
- 与原始工作流相比,在单个GPU上实现了近3倍的细分推理运行速度.
- 在100个GPU相对于优化的单个GPU工作流程,证明了超过40倍的速度提升.
- 显著提高了每个设备,每个图像的计算效率.
结论:
- 开发的代码优化大大加速了大型科学数据集的基于ML的图像细分.
- 更快的细分推断工作流程通过减少关键分析结果等待时间来增强用户体验.
- 这些改进使先进的机器学习工具更实用,更易于用于同步机研究.
