プロンプトインジェクション耐性のある言語モデルのための構造化フレームワーク、PromptGuard

科学分野:

• 人工知能;サイバーセキュリティ;自然言語処理

背景:

• プロンプトインジェクション攻撃は、大規模言語モデル（LLM）の信頼性とタスク忠実性にとって重大な脅威となります。;現在の防御メカニズムは、適応性に欠けることが多く、再トレーニングが必要であったり、範囲が狭かったりするため、実用的な展開が妨げられています。;安全なAIアプリケーションのためには、LLMに対する敵対的攻撃に対する堅牢で適応性があり、軽量な防御策が必要不可欠です。

研究 の 目的:

• LLMに対するプロンプトインジェクション攻撃を軽減するための、モジュール式の多層防御フレームワークを開発および評価すること。;モデルの再トレーニングを必要とせずに、敵対的な指示に対するLLMの堅牢性と信頼性を向上させること。;実世界のシナリオにおけるLLMセキュリティを改善するための実用的で効率的なソリューションを提供すること。

主な方法:

• 入力ゲートキーピング、構造化プロンプトフォーマット、意味的出力検証、および適応的応答洗練（ARR）を統合した4層防御フレームワーク。;悪意のある指示の検出とブロックのために正規表現とMiniBERTを使用しました。;一貫したタスク整合性と出力検証のために、構造化フォーマットとクリティックベースの検証を採用しました。

主要な成果:

• 提案されたフレームワークは、複数のLLMにわたってLLMの堅牢性を大幅に向上させました。;プロンプトインジェクションの成功率を最大67％削減しました。;検出精度のF1スコアは0.91を達成し、レイテンシの増加は8％未満に最小限に抑えられました。

結論:

• モジュール式の防御フレームワークは、LLMの安全性と信頼性を向上させるための、効果的で軽量な、再トレーニング不要のアプローチです。;このシステムは、プロンプトインジェクション攻撃を正常に軽減し、タスク忠実性と信頼性の高いAIの動作を保証します。;この研究は、実用的なアプリケーションにおける洗練された敵対的処理からLLMを保護するための有望なソリューションを提供します。