Transformerデコーダー注意マップを用いた画像キャプション生成のための視覚的説明可能性手法

科学分野:

• 人工知能
• コンピュータビジョン
• 自然言語処理

背景:

• 画像キャプション生成モデルは、意思決定プロセスにおいて透明性を欠き、ブラックボックスとして機能することが多い。
• 信頼と信頼性を構築するために、ビジョン言語モデルにおける説明可能なAI（XAI）の必要性が存在する。

研究 の 目的:

• 視覚的説明可能性を統合した新しい説明可能な画像キャプション生成フレームワークを開発すること。
• 現在のビジョン言語モデルにおける透明性のギャップに対処すること。

主な方法:

• 畳み込みニューラルネットワーク（CNN）エンコーダーとTransformerデコーダーアーキテクチャを利用した。
• 生成されたキャプションの視覚的説明を提供するために、注意ベースのヒートマップを統合した。
• 標準的な指標（BLEU、METEOR、CIDER、SPICE）を使用してMS COCOデータセットでパフォーマンスと解釈可能性を評価した。

主要な成果:

• 提案されたフレームワークは、画像キャプション生成の意思決定プロセスにおける透明性を提供する。
• 注意ベースのヒートマップは、キャプション生成に影響を与える視覚的特徴を効果的に強調する。
• この手法は、キャプション生成の質と解釈可能性の向上とのバランスをとる。

結論:

• 開発されたフレームワークは、AIシステムにおける信頼性と透明性を高める。
• このアプローチは、ヘルスケア、教育、セキュリティ、予測における重要なアプリケーションに適している。
• パフォーマンスと解釈可能性をビジョン言語モデルで結びつけることにより、説明可能なAIの進歩に貢献する。