ソフトウェア脆弱性検出のためのXLNetベースのアプローチによる長距離コンテキストモデリング

科学分野:

• サイバーセキュリティ
• ソフトウェア工学
• 人工知能

背景:

• ソフトウェア脆弱性検出はサイバーセキュリティにとって重要です。
• 言語モデル（LM）ベースのアプローチは有望ですが、長距離コード依存関係に苦労しています。
• Transformerアーキテクチャは、広範なコードコンテキストをキャプチャする上で限界があります。

研究 の 目的:

• 関数レベルの脆弱性検出のためのXLNetベースのフレームワークであるXLNetVDを紹介します。
• 長距離コード依存関係をキャプチャする上での既存モデルの限界に対処します。
• 脆弱性検出におけるXLNetの効果を評価します。

主な方法:

• 拡張コンテキストモデリングのために双方向Transformer-XLモデルを活用しました。
• XLNetを6つのコンテキスト埋め込みモデルと3つの非コンテキスト埋め込みモデルでベンチマークしました。
• XLNetをエンドツーエンドフレームワークXLNetVDに統合し、Low-Rank Adaptation（LoRA）ファインチューニングを適用しました。

主要な成果:

• XLNetは、CodeBERTおよびGPT-2を上回る最高のF1スコア68%を達成しました。