VTFusion: A Vision-Text Multimodal Fusion Network for Few-Shot Anomaly Detection

科学分野:

• コンピュータービジョン;機械学習;産業オートメーション

背景:

• 少数ショット異常検知（FSAD）では、限られた正常データで欠陥を特定する必要があります。;現在の方法では、一般的な画像特徴が使用されることが多く、産業特有の情報が欠落しています。;既存のビジョン・テキスト・フュージョン戦略は、セマンティックな不整合やクロスモーダル干渉に苦労しています。

研究 の 目的:

• 産業用FSADのためのビジョン・テキスト・マルチモーダル・フュージョン・フレームワーク（VTFusion）を開発すること。;現在のFSADアプローチにおけるドメインギャップとセマンティックな不整合に対処すること。;産業検査における異常検知の堅牢性と精度を向上させること。

主な方法:

• ドメイン固有の表現を学習するために、視覚データとテキストデータに適応型特徴抽出器を導入しました。;特徴の識別性を向上させるために、合成異常を生成しました。;ピクセルレベルの異常マッピングのために、フュージョンブロックとセグメンテーションネットワークを備えたマルチモーダル予測フュージョンモジュールを開発しました。

主要な成果:

• MVTec AD（96.8% AUROC）およびVisA（86.2% AUROC）での2ショットFSADシナリオで高いパフォーマンスを達成しました。;実世界の産業用自動車プラスチック部品データセットで93.5% AUPROを示し、実用的な適用性を示しました。;VTFusionは、要求の厳しい産業環境におけるFSADパフォーマンスを大幅に向上させます。

結論:

• VTFusionは、マルチモーダルFSADにおけるドメインギャップを効果的に橋渡しし、セマンティックな不整合を克服します。;提案された適応型特徴抽出およびフュージョン戦略は、検出精度と堅牢性を向上させます。;VTFusionは、実際の産業検査アプリケーションで強力な可能性を示しています。