Hi-RWKV: 高次元画像分類のための階層的RWKVモデリング

科学分野:

• リモートセンシング
• コンピュータビジョン
• 機械学習

背景:

• 高次元画像（HSI）分類には、複雑な空間情報とスペクトル情報を捉えることができるモデルが必要です。
• CNNやTransformerなどの現在の方法は、スケーラビリティ、受容野、および計算複雑性において限界に直面しています。
• 限定的な監視下での大規模シーンの堅牢なHSI分類モデルの開発は、依然として課題です。

研究 の 目的:

• 高次元分析のための新しい階層的リカレント重み付けキー値フレームワークであるHi-RWKVを提案すること。
• 既存のモデルの、長距離空間関係および高次元スペクトル構造を捉える上での限界に対処すること。
• 精度と堅牢性を向上させた効率的でスケーラブルなHSI分類を可能にすること。

主な方法:

• グローバルコンテキストの統合と境界の忠実度のための、エッジ認識ゲーティングを備えた空間構造ガイド双方向伝播メカニズムを導入しました。
• 学習可能なバンド埋め込みとホワイトニング変換を使用したスペクトル同一性駆動チャネルミキシングモジュールを開発し、バンド間の識別を強化しました。
• スペクトル空間表現の段階的な洗練のために、厳密に線形複雑性を持つ多段階階層エンコーダを実装しました。

主要な成果:

• Hi-RWKVは、さまざまなトレーニング条件下で4つのベンチマークデータセット全体で最先端の精度を達成しました。
• アブレーションスタディは、境界の保持、スペクトルの識別、およびデータ効率に対する各モジュールの相補的な貢献を検証しました。
• このモデルは、大規模HSI解釈および高解像度リモートセンシングにおいて優れたパフォーマンスを示しました。

結論:

• Hi-RWKVは、高次元画像分類のための効率的でスケーラブルなパラダイムを提供します。
• このフレームワークは、スケーラブルなリカレント性と高次元固有の構造モデリングを効果的に統合します。
• 提案されたアプローチは、高解像度リモートセンシング分析の分野を進歩させます。