BigFlow-NIDS: Un conjunto de datos a gran escala para la detección de intrusiones en la red en un entorno de big data

Área de la Ciencia:

• Ciencias de la computación Ciencias de la computación
• Ciberseguridad Ciberseguridad.
• Ciencia de datos Ciencia de datos.

Sus antecedentes:

• Los sistemas de detección de intrusiones en la red (NIDS) son cruciales para la ciberseguridad.
• Los entornos de Big Data presentan desafíos para la investigación tradicional de NIDS.
• Los conjuntos de datos existentes pueden carecer de la escala y el detalle requeridos para las amenazas modernas.

Objetivo del estudio:

• Introducir BigFlow-NIDS, un conjunto de datos a gran escala basado en NetFlow.
• Facilitar la investigación en la detección de intrusiones en redes dentro de entornos de big data.
• Apoyar el desarrollo de NIDS escalables y conscientes del tiempo.

Principales métodos:

• Recopilado y curado un conjunto de datos de 66.935.021 flujos de red.
• Incluye 55 atributos de flujo y 32 categorías de ataque de grano fino.
• Datos formateados en CSV y Parquet para diversas necesidades analíticas.

Principales resultados:

• El formato parquet demostró una carga de datos significativamente más rápida en comparación con el CSV (27.35s frente a 920.82s).
• El conjunto de datos comprende 36.6 millones de flujos benignos y 30.3 millones de flujos de ataque, lo que pone de relieve el desequilibrio de clase.
• Se realizaron análisis de referencia y experimentos de detección de anomalías.

Conclusiones:

• BigFlow-NIDS es un recurso valioso para la investigación de NIDS de big data.
• Los formatos de almacenamiento en columnas como Parquet son esenciales para el manejo eficiente de grandes conjuntos de datos NIDS.
• El conjunto de datos permite la evaluación de sistemas de detección de intrusiones escalables y temporalmente conscientes.