自律的なシステムにおける認知バイアスの武器化:ブラックボックス推論攻撃の枠組み

科学分野:

• 人工知能
• 認知科学
• 自動運転システム

背景:

• 高次元環境における自律システムは,注意とリスク評価のための優先順位ヒューリスティックを使用します.
• これらのヒューリスティックは,意思決定に影響を与える認知バイアス (突起,空間的枠組,時間的親しみ) を導入することができます.
• 視覚システムへのアクセスが限られているため,代替診断方法が必要になります.

研究 の 目的:

• ブラックボックスの診断フレームワークであるPRIORを導入する.
• 構造的に偏った,意味学的に中立なシグナルを使用して,自律的なシステムにおける推論レベルの脆弱性を探求する.
• シミュレートされた監視シナリオにおける認知的優先順位付けのプロキシとして,大規模な言語モデル (LLM) を使用してPRIORを評価する.

主な方法:

• PRIORという 障害のない診断枠組みを開発しました
• 構造的に偏ったが意味学的に中立なシナリオのシグナルを使用した.
• 模擬無人航空機 (UAV) の監視のための抽象的な推論代理としてLLMを使用しました.

主要な成果:

• 最小限の構造的なシグナルは,一貫して複数のLLMで優先順位の逆転を誘導しました.
• 根拠と信頼性評価の分析により, 推論された脅威の関連性における体系的な歪みが明らかになった.
• 対称的な入力では,優先順位の論理の歪みを防ぐことができなかった.

結論:

• ブラックボックスの推論は脆弱です
• 評価戦略は,出力の正しさだけでなく,内部優先順位の論理を問い合わせなければなりません.
• 発見は,現実世界の展開におけるダイナミックな,体現された,視覚的に接地されたエージェントに意味を持っています.