MMC-CS: 自己教師あり圧縮センシングのためのマルチブランチマルチステージコントラスティブ学習 | JoVE Visualize

科学分野:

コンピュータビジョン
深層学習
信号処理

背景:

深層ニューラルネットワーク（DNN）は、画像圧縮センシング（ICS）において有望視されています。
現在のDNN手法は、グラウンドトゥルースデータの取得や測定情報の利用不足に苦労しています。
最適化に着想を得たネットワークは、ICSのために最適化理論をDNNに統合しています。

研究の目的:

ICSにおける逆問題を解決するための新しい自己教師あり深層学習フレームワークを提案すること。
DNNベースのICSにおけるグラウンドトゥルースデータの制限と測定値の利用不足という課題に対処すること。
ラベル付き測定値がない状況での画像再構成のための効果的な手法を開発すること。

主な方法:

マルチブランチ、マルチステージのプログレッシブクロスコントラスト構造を介して測定値を利用する自己教師あり深層学習フレームワーク。
プロキシマル勾配降下法（PGD）アルゴリズムを展開するマルチブランチマルチステージクロスコントラストCS（MMC-CS）エンドツーエンドDNNの設計。
マルチスケール共同最適化（画像パスと畳み込み特徴パス）とウェーブレット畳み込み（WTConv）を統合して、再構成を強化します。

主要な成果:

提案手法は、グラウンドトゥルースデータなしで画像事前知識を効果的に学習します。
既存の自己教師ありアプローチと比較して、平均ピーク信号対雑音比（PSNR）で0.3〜1.6 dBの改善を達成しました。
画像再構成における最先端の教師あり手法と競合する可能性を強く示しました。

結論:

新しい自己教師ありフレームワークは、DNNベースのICSにおける主要な制限に対処します。
MMC-CSネットワークは、現在の自己教師あり手法と比較して優れた画像再構成性能を提供します。
このアプローチは、アンダーサンプリングされた測定値からの効率的かつ正確な画像回復を必要とする実用的なアプリケーションに有望です。