ハイパースペクトルおよびLiDARデータの共同分類のためのマスク付き自己注意融合ネットワーク

科学分野:

• リモートセンシング
• コンピュータビジョン
• 地理空間分析

背景:

• ハイパースペクトル画像（HSI）は豊富なスペクトルデータを提供し、Light Detection and Ranging（LiDAR）は土地被覆マッピングのための構造および標高情報を提供します。
• 既存のHSI-LiDAR共同分類方法は、単純な融合戦略を持つディープネットワークを使用することが多く、最適な特徴抽出ができず、計算コストが高くなります。

研究 の 目的:

• HSIおよびLiDARデータの共同分類のための効率的かつ効果的なマルチモーダル融合フレームワークを開発すること。
• 既存の方法の、固有のデータ特性を十分に活用し、計算リソース要件を削減する上での限界を克服すること。

主な方法:

• カスケードクロスアテンション融合フレームワークを利用したマスク付き自己注意融合ネットワーク（MSAF）。
• マルチモーダル特徴抽出のためのモバイル畳み込みブロックの開発。
• スペクトル空間および標高データを統合するためのマルチビューシーケンス埋め込みの実装。
• トークンシーケンス融合のためのマスク付き自己注意機構の適用。

主要な成果:

• 提案されたMSAFフレームワークは、既存の高度なマルチモーダル融合方法と比較して、土地被覆分類性能を大幅に向上させます。
• この方法は、以前のアプローチの高いリソース要求に対応する、優れた計算効率を示します。
• 複数のデータセットにわたる実験的検証により、カスケードクロスアテンションおよびマスク付き自己注意融合戦略の効果が確認されています。

結論:

• MSAFネットワークは、HSI-LiDAR共同土地被覆分類のための強力で効率的なソリューションを提供します。
• カスケードクロスアテンションおよびマスク付き自己注意機構は、マルチモーダル特徴を効果的にマージし、分類精度を向上させます。
• この研究は、リモートセンシングデータ融合のための計算効率が高く高性能なモデルに貢献します。