スペクトル画像の超解像度化における事前学習済みRGBモデルを用いた比較評価

科学分野:

• スペクトルイメージング
• コンピュータビジョン
• 画像処理

背景:

• ハードウェアの制限とアノテーション付きデータセットの不足は、スペクトルイメージングの解像度を制限します。
• 超解像度（SR）技術は、スペクトルデータの空間的詳細を向上させるための潜在的なソリューションを提供します。
• SRモデルの多様な評価は、スペクトル画像修復の進歩に不可欠です。

研究 の 目的:

• スペクトルイメージングのための補間ベース、CNNベース、GANベース、および拡散ベースのSR手法を包括的に評価すること。
• スペクトルデータに対するSRパフォーマンスを評価するための再現可能なフレームワークを確立すること。
• SRモデルにおける空間的向上とスペクトル忠実度の間のトレードオフを特定すること。

主な方法:

• グラウンドトゥルースとしてMST++を使用した合成30バンドスペクトルデータセットの開発。
• 互換性のために既存のSRアーキテクチャに隣接しないRGBトリプレットを入力する。
• PSNR、SSIM、およびSAMメトリックを使用して、×2、×4、および×8スケールでSRモデル（バイキュービック、CNN、ESRGAN、拡散モデル）を評価する。

主要な成果:

• バイキュービック補間は、スペクトル的に信頼性の高いベースラインとして機能します。
• 浅いCNNは、ファインチューニングなしで良好な汎化を示します。
• ESRGANは空間的詳細を向上させますが、スペクトル精度を犠牲にします。
• 拡散モデルは、スペクトルドメイン適応なしでは不安定なパフォーマンスを示し、スペクトルを認識するトレーニングが必要です。

結論:

• 知覚的なシャープネスとスペクトル忠実度の間には、SRにおいて永続的なトレードオフが存在します。
• ドメインを認識した目的は、スペクトルデータに適用される生成SRモデルにとって不可欠です。
• この研究は、将来のスペクトル画像修復研究のための再現可能なベースラインと評価フレームワークを提供します。