DCA-UNet: A Cross-Modal Ginkgo Crown Recognition Method Based on Multi-Source Data | JoVE Visualize

科学分野:

植物学および保全生物学
コンピュータサイエンスおよび人工知能
リモートセンシングおよび地理空間分析

背景:

野生イチョウは、遺伝資源保護にとって重要な絶滅危惧種です。
従来の調査や衛星リモートセンシングは、複雑な地形における野生イチョウのモニタリングにおいて限界があります。
既存の深層学習モデルは、正確なイチョウクラウン認識のためのマルチモーダルデータ融合に苦労しています。

研究の目的:

UAVベースのマルチモーダル画像を使用した野生イチョウのクラウンセグメンテーションのための精密な手法を開発すること。
RGBおよびマルチスペクトルデータを効果的に融合する新しい深層学習ネットワークを提案すること。
絶滅危惧種のモニタリングのための認識性能と汎化能力を向上させること。

主な方法:

UAVで取得したRGBおよびマルチスペクトル画像を使用して、マルチモーダルイチョウクラウンデータセットを作成しました。
デュアルブランチ動的重み付けフュージョンネットワークであるDCA-UNetを提案しました。
DCA-UNetは、独立した特徴抽出のためのデュアルブランチエンコーダー、アテンションを伴うクロスモーダル相互作用フュージョンモジュール、およびアテンション強化デコーダーを特徴としています。

主要な成果:

DCA-UNetは高いセグメンテーション精度を達成しました：IoU 93.42%、PA 96.82%、Precision 96.38%、F1-score 96.60%。
提案手法は、DFAFNetおよび単一モダリティのベースラインモデルを大幅に上回りました。
このモデルは、異なる飛行高度や複雑なシナリオにおいて、強力な汎化性能と堅牢性を示しました。

結論:

DCA-UNetは、UAVベースのマルチモーダルイチョウクラウン認識のための、優れた効率的なソリューションを提供します。
開発された手法は、野生の絶滅危惧種のモニタリングのための信頼できるツールを提供します。
マルチモーダルデータの効果的な融合は、リモートセンシングベースの種同定の精度と堅牢性を大幅に向上させます。