グローブ製造におけるクロスプロダクト欠陥検出のための統一されたビジョン・言語モデル

科学分野:

• 人工知能
• 機械学習
• コンピュータビジョン

背景:

• 産業品質管理は自動化された異常検出に依存しています。
• 現在の深層学習モデルは、「モデルごとに1タスク」のアプローチによりスケーラビリティの問題に直面しており、コストと複雑さが増加しています。
• 多様な製造環境と製品ラインを効率的に処理するには、統一されたフレームワークが必要です。

研究 の 目的:

• マルチモーダル大規模言語モデル（MLLM）を用いた統一された欠陥検出フレームワークを提案すること。
• 従来の単一タスク深層学習モデルの産業品質管理における限界に対処すること。
• マルチプロダクト欠陥検出のための単一MLLMのスケーラビリティと費用対効果を実証すること。

主な方法:

• マルチモーダル大規模言語モデル（MLLM）に基づく統一された欠陥検出フレームワークを開発しました。
• ドメイン知識のための教師ありファインチューニング（SFT）と視覚的推論のための強化学習ファインチューニング（RFT）の2段階ファインチューニング戦略を採用しました。
• RFT中に局所化、分類、および出力構造を最適化するために、多面的な検証可能な報酬関数を使用しました。

主要な成果:

• RFT強化MLLMは、グローブ製造データセットで平均適合率（mAP）0.63を達成し、専門YOLOベースライン（0.62）に匹敵しました。
• 単一の統一MLLMは、混合プロダクトデータでトレーニングされ、自然言語プロンプトを介して異なるプロダクトと欠陥を処理し、競争力のあるパフォーマンス（mAP 0.61）を維持しました。
• 様々なプロダクトと欠陥タイプへのMLLMの動的な適応能力を実証しました。

結論:

• 単一の柔軟なMLLMは、複雑な産業検査において複数の厳密な専門モデルを効果的に置き換えることができます。
• 提案されたMLLMフレームワークは、インテリジェント品質管理システムのためのスケーラブルで費用対効果の高いソリューションを提供します。
• このアプローチは、より適応性があり効率的な自動製造検査への道を開きます。