より大きく,より学習可能な言語モデルは信頼性が低下する
Lexin Zhou1,2, Wout Schellaert1,3, Fernando Martínez-Plumed1,4
1Valencian Research Institute for Artificial Intelligence (VRAIN), Universitat Politècnica de València, Valencia, Spain.
大規模な言語モデル (LLM) のスケーリングは信頼性を低下させる可能性があります. より大きなモデルはより多くの質問に答えますが,しばしば誤った答えを出し,それを検出するのは人間にとって難しいので,新しいAI開発方法が必要になります.
科学分野:
- 人工知能
- 自然言語処理
- 機械学習
背景:
- 現在の大型言語モデル (LLM) の開発は,スケーリング (サイズ,データ,計算の増大) とシェーピング (微調整,人間のフィードバック) に焦点を当てています.
- 進歩にもかかわらず,より大きく,より"指示可能な"LLMは,信頼性が低下し,予測できないエラーパターンを示す可能性があります.
研究 の 目的:
- 様々なLLMファミリーにおけるタスクの難しさ,モデル回避,および安定性を促す関係の調査.
- LLMの信頼性とエラーの予測性,特に高リスクのアプリケーションにおけるスケーリングとシェーピングの影響を評価する.
主な方法:
- 人間の参加者とLLMとの間の難易度の一致性の分析.
- 異なるLLMファミリーのタスク回避とプロンプトの安定性を評価する.
- 初期のLLMとスケールアップされたLLMのエラータイプと検出率の比較
主要な成果:
- LLMは簡単なタスクを簡単に見つけますが,スケールモデルではエラーがなく,容易に監視できる低難易度のゾーンを保証できません.
- スケール化されたLLMは,以前のモデルとは異なり,人間の監督者が見逃した難しい質問に対して,しばしば妥当だが誤った答えを提供します.
- スケーリングとシェーピングは,さまざまなフレーズに対する応答の安定性を向上させますが,難易度を超えて予測できないエラーが持続します.
結論:
- LLMのスケーリングとシェーピングは,本質的にエラーの信頼性や予測性を向上させません.
- AI設計のパラダイムシフトが必要で,重要なアプリケーションの予測可能なエラー分布に焦点を当てている.
- AIの安全性と信頼性を確保するために,特にリスクの高い分野では,さらなる研究が必要です.
さらに関連する動画
08:05Measuring Statistical Learning Across Modalities and Domains in School-Aged Children Via an Online Platform and Neuroimaging Techniques
Published on: June 30, 2020
06:09P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation
Published on: September 8, 2023
関連する概念動画
Improving Translational Accuracy
Reliability and Validity
Language and Cognition
Stereotype Content Model
Language Development
The critical period for language acquisition suggests that the ability to acquire language is at its peak early in life. As people age, this proficiency decreases. Language development begins very...
Machines: Problem Solving II
