果実の多様性認識に向けた軽量トライモーダル少数ショット検出フレームワーク：デジタル果樹園アーカイブに向けて

科学分野:

• コンピュータビジョン; 機械学習; 農業技術

背景:

• 少数ショット物体検出（FSOD）は、多様な果実品種のラベリングコストが高いため、スマート農業において極めて重要です。; 果樹園環境は、閉塞、微妙な視覚的違い、密な葉など、物体認識を複雑にする重大な課題をもたらします。

研究 の 目的:

• 複雑な農業環境における効果的な少数ショット物体検出のための軽量トライモーダル融合フレームワークを開発すること。; 果実品種の識別と農業モニタリングの精度と効率を向上させること。

主な方法:

• CLIPベースのセマンティックプロンプトエンコーダーが、カテゴリを認識する手がかりを抽出し、Segment Anything Model（SAM）が構造を維持するマスクを生成するように導きます。; セマンティックフュージョンモジュール（SFM）は、マスクサリエンシーアダプター（MSA）と特徴エンハンスメントリコンポーザー（FER）で構成され、マスクを特徴マップに統合します。; アテンション対応重み推定器（AWE）がセマンティックストリームとビジュアルストリームを適応的にバランスさせ、最終的な予測はYOLOv12検出ヘッドから得られます。

主要な成果:

• 提案されたフレームワークは、4つの果実検出ベンチマーク（Cantaloupe.v2、Peach.v3、Watermelon.v2、Orange.v8）すべてにおいて、5つの代表的なFSODベースラインを一貫して上回りました。; Cantaloupe.v2で+7.9%のAP@0.5、Peach.v3で+5.4%のPrecision、Watermelon.v2で+7.4%のPrecision、Orange.v8で+5.9%のAP@0.75を含む大幅なパフォーマンス向上が観察されました。

結論:

• 開発されたトライモーダル融合フレームワークは、果樹園固有の物体検出タスクに対して高い有効性を示しています。; この方法は、スマート農業における品種識別、デジタル記録管理、およびコスト効率の高いモニタリングの進歩に強力な可能性を示しています。