Gestión de datos para flujos de trabajo computacionales distribuidos: una configuración basada en iRODS y su...

Área de la Ciencia:

• Gestión de datos científicos
• Infraestructura de computación de alto rendimiento
• Sistemas de datos distribuidos

Sus antecedentes:

• Se evalúan los marcos modernos de gestión de datos por su eficiencia práctica en el uso diario.
• Los marcos deben soportar sistemas de computación de alto rendimiento y en la nube geográficamente distribuidos.
• El rendimiento de la transferencia de datos es fundamental para saturar el ancho de banda de la red en flujos de trabajo distribuidos.

Objetivo del estudio:

• Probar la idoneidad de los marcos de gestión de datos para flujos de trabajo de computación distribuida.
• Evaluar el rendimiento de iRODS con B2SAFE como backend de datos para la Plataforma LEXIS.
• Medir el rendimiento de la transferencia de datos de red de área amplia entre sitios de supercomputación.

Principales métodos:

• Evaluación del Sistema de Datos Orientado a Reglas (iRODS) integrado con el módulo B2SAFE de EUDAT.
• Construcción y evaluación de una infraestructura de datos dentro de la Plataforma LEXIS.
• Medición del rendimiento de la transferencia de datos en redes de área amplia entre sitios de supercomputación.

Principales resultados:

• Es posible una utilización eficiente del ancho de banda de la red con configuraciones de cliente optimizadas y tamaños de archivo.
• iRODS es adecuado para su integración en infraestructuras de computación federadas, soportando OpenID Connect y servicios en línea.
• Se identificaron limitaciones y se descubrieron oportunidades de optimización para el rendimiento de la transferencia de datos.

Conclusiones:

• Los sistemas de gestión de datos como iRODS son capaces de satisfacer las demandas de las infraestructuras de computación federadas.
• El estudio demuestra el potencial de las transferencias de datos de alto rendimiento en entornos distribuidos.
• Se planea la explotación continua de estas propiedades para la optimización de flujos de trabajo intensivos en datos en proyectos como EXA4MIND.