命令データマイニングの対抗性プロンプトのLLMの堅強さにより注意を払う
Qiang Wang1, Dawei Feng1, Xu Zhang1
1National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology, Hunan Changsha, 410073, China.
この研究は,高品質の指示データを採掘することによって,大規模な言語モデル (LLM) を改善するための新しい方法を導入します. 挑戦的な指示サンプルを特定する技術を開発し 敵対的なプロンプトに対するLLMの強さを高めました
科学分野:
- 人工知能
- 自然言語処理
- 機械学習
背景:
- インストラクションチューニングは,大型言語モデル (LLM) の動作を調整するための鍵です.
- 高性能は,限られた高品質の指示データで達成できます.
- IFDは,LLMが指示に従わない場合のデータをマイニングします.
研究 の 目的:
- 高品質の命令データ選択にLLMの強度がどのように影響するか調査する.
- インストラクションチューニングのための高品質のインストラクションデータマイニングのための新しい枠組みを提案する.
主な方法:
- 攻撃プロンプトで対抗命令データを生成した.
- サンプルペアを使用した逆の指示に従う困難 (AIFD) メトリックを導入しました.
- オンラインデータマイニングのプロンプトのみを使用したAdversarial Instruction Output Embedding Consistency (AIOEC) を開発した.
主要な成果:
- 実験結果は,提案されたAIFDとAIOECの有効性を示しています.
- この研究は,データマイニングにおける対抗的な誘導に対するLLMの強さの重要性を強調しています.
- 両方の方法は,チューニングのための高品質の指示データを成功裏に特定しました.
結論:
- 効果的な指示データマイニングには,反抗的なプロンプトに対するLLMの強度が不可欠です.
- 提案されているAIFDとAIOECの方法は,指示の調整に大幅な改善をもたらします.
- 対立性の強さを考慮すると,マイニングされた命令データの品質と有用性が向上します.
さらに関連する動画
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
08:05Measuring Statistical Learning Across Modalities and Domains in School-Aged Children Via an Online Platform and Neuroimaging Techniques
Published on: June 30, 2020
関連する概念動画
Language Development
The critical period for language acquisition suggests that the ability to acquire language is at its peak early in life. As people age, this proficiency decreases. Language development begins very...
Purposive Learning
Survival Tree
Building a Survival Tree
Constructing a...
Generalization, Discrimination, and Extinction
Generalization occurs when a behavior reinforced in one context is performed in similar situations. For instance, a student who studies diligently for calculus and receives excellent grades might apply the same study habits to psychology and history, expecting similar results. Generalization shows how learning in one setting can influence behavior in...
Language and Cognition
Observational Learning
