少数数回のコンテキスト内デモンストレーションによる jailbreak およびガードアラインメント言語モデル

科学分野:

• 人工知能
• 自然言語処理
• 機械学習セキュリティ

背景:

• 大規模言語モデル（LLM）は大きな可能性を示していますが、悪意のある悪用、特にjailbreak攻撃に対して脆弱です。
• 敵対的入力は、LLMに有害または非倫理的なコンテンツを生成させる可能性があり、安全な展開にとって大きな課題となります。
• コンテキスト内学習（ICL）は、LLMにとって効果的かつスケーラブルな技術であり、安全性に関する懸念に対処するための新しいアプローチを提供します。

研究 の 目的:

• 大規模言語モデル（LLM）の安全性アラインメントを調整するコンテキスト内学習（ICL）の可能性を調査すること。
• ICLフレームワーク内の敵対的デモンストレーションを使用してLLMの安全性を回避または強化するための手法を導入および評価すること。
• LLMの安全性とアラインメントに対するICLの理論的および経験的影響を探求すること。

主な方法:

• コンテキスト内攻撃（ICA）を提案：有害なデモンストレーションを利用してLLMの安全性アラインメントを侵害します。
• コンテキスト内防御（ICD）を提案：有害なプロンプトに対する拒否の例を採用してLLMの耐性を強化します。
• 複数のLLMアーキテクチャ、データセット、および攻撃ベースラインにわたる理論的分析と経験的検証。

主要な成果:

• 最小限のコンテキスト内デモンストレーションがLLMの安全性アラインメントを効率的に変更できることを実証しました。
• ICAはLLMの安全性を効果的に回避しますが、ICDは有害な出力に対する耐性を大幅に強化します。
• ICAとICDの両方が、レッドチーミング評価およびセーフガードの開発において有効性とスケーラビリティを示しました。

結論:

• コンテキスト内学習（ICL）は、これまであまり研究されてこなかった要因であるLLMの安全性とアラインメントにおいて極めて重要な役割を果たします。
• 提案されたICAおよびICD手法は、LLMの安全性を理解および操作するための新しいツールを提供します。
• この研究は、LLMセキュリティの向上と敵対的攻撃に対する堅牢な防御の開発のための新しい道を開きます。