分散コンピューティングワークフローのためのデータ管理：iRODSベースのセットアップとそのパフォーマンス

科学分野:

• 科学データ管理
• 高性能コンピューティングインフラストラクチャ
• 分散データシステム

背景:

• 最新のデータ管理フレームワークは、日常使用における実際の効率について評価されています。
• フレームワークは、地理的に分散した高性能およびクラウドコンピューティングシステムをサポートする必要があります。
• データ転送パフォーマンスは、分散ワークフローにおけるネットワーク帯域幅の飽和にとって重要です。

研究 の 目的:

• 分散コンピューティングワークフローに対するデータ管理フレームワークの適合性をテストすること。
• LEXISプラットフォームのデータバックエンドとしてB2SAFEを備えたiRODSのパフォーマンスを評価すること。
• スーパーコンピューティングサイト間の広域ネットワークデータ転送パフォーマンスを測定すること。

主な方法:

• EUDATのB2SAFEモジュールを備えたルール指向データシステム（iRODS）の評価。
• LEXISプラットフォーム内でのデータインフラストラクチャの構築と評価。
• スーパーコンピューティングサイト間の広域ネットワークでのデータ転送パフォーマンスの測定。

主要な成果:

• 最適化されたクライアント構成とファイルサイズにより、ネットワーク帯域幅の効率的な利用が可能になります。
• iRODSは、OpenID Connectおよびオンラインサービスをサポートするフェデレーテッドコンピューティングインフラストラクチャへの統合に適しています。
• 制限が特定され、データ転送パフォーマンスの最適化の機会が発見されました。

結論:

• iRODSのようなデータ管理システムは、フェデレーテッドコンピューティングインフラストラクチャの要求を満たすことができます。
• この研究は、分散環境における高性能データ転送の可能性を示しています。
• EXA4MINDのようなプロジェクトにおけるデータ集約型ワークフローの最適化のために、これらのプロパティの継続的な活用が計画されています。