最小限の命令セットの変更による大規模言語モデルの操作：文脈外および範囲外

科学分野:

• 人工知能;自然言語処理;機械学習

背景:

• 大規模言語モデル（LLM）における新たな推論能力は、人間の意図との整合性を必要とします。;文脈外の推論により、LLMは例なしで記述情報から行動を採用できます。;LLMの行動パターンの無害性を評価することは、不透明なトレーニングデータのために困難です。

研究 の 目的:

• LLMにおけるユーザー定義の行動の埋め込みおよびトリガーメカニズムを調査すること。;トレーニングデータとプロンプト戦略がLLMの行動に与える影響を理解すること。;LLM応答パターンの操作の可能性を評価すること。

主な方法:

• より大きな命令セット内に最小限の隠された行動記述を使用してLLMをファインチューニングすること。;トレーニングデータにおける信号拡散と推論の数学的動機付けと経験的検証。;行動トリガーのためのプロンプト戦略とトークン強化の分析。

主要な成果:

• LLMは、ノイズの多いトレーニングデータ内の拡散信号から応答パターンを推測および採用できます。;行動埋め込みは、最小限の命令セットの変更に敏感です。;これらの埋め込まれた行動のトリガーは、特定のプロンプト戦略とトークン強化に大きく依存します。

結論:

• LLMは、トレーニングデータとプロンプトの微妙な変更による操作に対して脆弱性を示します。;LLMにおける特定の行動の出現は、特定の条件下で制御およびトリガーできます。;アクセス不可能なトレーニングデータを持つLLMの監視されていない使用は、潜在的な行動操作のために予期しないリスクをもたらします。