BigFlow-NIDS:ビッグデータ環境におけるネットワーク侵入検知のための大規模なデータセット

科学分野:

• コンピュータサイエンス コンピュータサイエンス
• サイバーセキュリティー サイバーセキュリティー
• データサイエンス データサイエンス

背景:

• ネットワーク侵入検知システム (NIDS) は,サイバーセキュリティにとって極めて重要です.
• ビッグデータ環境は,従来のNIDS研究に課題をもたらします.
• 既存のデータセットには,現代の脅威に必要な規模と詳細が欠けている可能性があります.

研究 の 目的:

• 大規模なNetFlowベースのデータセットであるBigFlow-NIDSを紹介します.
• ビッグデータ環境におけるネットワーク侵入検知に関する研究を促進する.
• スケール可能で,時間的に認識されたNIDSの開発を支援します.

主な方法:

• 66,935,021のネットワークフローのデータセットを収集し,管理しました.
• 55のフロー属性と32の細かい攻撃カテゴリが含まれています.
• CSVとParquetの両方でフォーマットされたデータで,さまざまな分析ニーズを満たします.

主要な成果:

• Parquetフォーマットでは,CSVと比較してデータロードが大幅に高速化されました (27.35s vs 920.82s).
• データセットは,36.6百万の良性フローと,30.3百万の攻撃フローで構成され,階級の不均衡を強調しています.
• ベースライン分析と異常検出実験が行われました.

結論:

• BigFlow-NIDSは,ビッグデータ NIDSの研究のための貴重なリソースです.
• Parquetのようなコラム式ストレージ形式は,大規模なNIDSデータセットを効率的に処理するために不可欠です.
• このデータセットは,スケーラブルで時間的に認識可能な侵入検知システムの評価を可能にします.