セマンティック・エントロピーを用いた大規模な言語モデルにおける幻覚の検出

科学分野:

• 人工知能
• 自然言語処理
• 機械学習

背景:

• 大型言語モデル (LLM) は高度な能力を有しているが,誤った情報や根拠のない情報を生み出す"幻覚"に苦しんでいる.
• これらの不正確さは 法律,ジャーナリズム,医学などの重要な分野での LLM の採用を妨げ,重大なリスクをもたらします
• 監督や補強学習などのLLMの真実性を確保するための既存の方法は,部分的な成功のみをもたらしました.

研究 の 目的:

• LLMにおける幻覚,特にコンファブレーションを検出するための一般的で堅固な方法を開発する.
• 人間の答えがすぐには得られないような 新しく未経験の質問で 幻覚を検出する課題に取り組むこと
• LLMの出力の信頼性と信頼性を向上させ,より広範な適用のために.

主な方法:

• エントロピーに基づく不確実性の推定に基づいた新しい統計的方法を開発した.
• アイデア表現の変性を捉えるために 特定の語順ではなく 意味のレベルでの計算された不確実性
• 特定のタスクのデータを必要とせずに,さまざまなデータセットとタスクでメソッドのパフォーマンスを検証しました.

主要な成果:

• 提案された方法は,LLMの幻覚のサブセットであるコンファブレーションを効果的に検出します.
• このアプローチは,新しい未知のタスクとデータセットに堅実性と一般化性を示しています.
• 精確な幻覚検出には意味レベルでの不確実性評価が不可欠であることが判明しました.

結論:

• 開発された方法は,LLMから潜在的にコンファブルされた出力を特定するための信頼できる方法を提供します.
• このテクニックは,ユーザーがLLMで生成されたコンテンツに注意を払うときの認識を可能にします.
• この発見は,様々な分野において,より安全で信頼性の高いLLMの導入への道を開きます.