クラス条件付きGANを用いた視覚から触覚へのクロスモーダル生成：マルチスケール識別器とハイブリッド損失

科学分野:

• コンピュータビジョン
• ハプティクス
• 機械学習

背景:

• 視覚的テクスチャの知覚は、触覚レンダリングと仮想現実において不可欠です。
• 視覚的テクスチャデータを触覚フィードバックに変換することは、大きな課題となります。

研究 の 目的:

• テクスチャ画像から振動触覚スペクトログラムへのクロスモーダル変換のためのクラス条件付き敵対的生成ネットワーク（cGAN）を開発すること。
• 触覚のリアルさを向上させるために、変換プロセスにおけるテクスチャクラスのセマンティクスを強化すること。

主な方法:

• Conditional Batch Normalization (CBN) を備えた pix2pix 適応型ジェネレータと DenseNet-201 ラベル予測子を使用しました。
• 最適な知覚的類似性のために、マルチスケール識別器アーキテクチャ（pix2pixHD 由来）を採用しました。
• 敵対的損失、L1損失、および特徴マッチング損失を組み合わせたハイブリッド損失関数を実装しました。

主要な成果:

• Learned Perceptual Image Patch Similarity (LPIPS) および Fréchet Inception Distance (FID) メトリックを使用して、優れた知覚的類似性を達成しました。
• pix2pix および pix2pixHD のような既存モデルよりもパフォーマンスが向上しました。
• GradCAM 可視化により、クラス条件付けの効果が確認されました。

結論:

• 提案された cGAN モデルは、視覚的テクスチャ情報を振動触覚スペクトログラムに効果的に変換します。
• 生成されたスペクトログラムは触覚信号に変換でき、高度な触覚フィードバックと仮想マテリアルシミュレーションを可能にします。
• この研究は、没入型仮想体験のためのクロスモーダル変換の分野を進歩させます。