TG-TSGNet: テキストガイドによる任意解像度地形シーン生成ネットワーク

科学分野:

• コンピュータビジョン
• コンピュータグラフィックス
• 人工知能

背景:

• 従来の地形モデリングは、AR、VR、地理マッピングなどのアプリケーションにおいて、効率、リアリズム、意味的一貫性に課題があります。
• 高度な地形ビジュアライゼーション技術への需要が高まっています。

研究 の 目的:

• 現在の地形モデリングの限界を克服するために、新しいテキストガイドによる任意解像度地形シーン生成ネットワーク（TG-TSGNet）を提案すること。
• 地形シーン生成の効率、リアリズム、意味的一貫性を向上させること。

主な方法:

• カスタム畳み込みベース局所表現ブロック（CLRB）とマンバベースグローバル表現ブロック（MGRB）を統合したConvMamba-VQGANを開発しました。
• テキストエンコーダーとテキスト画像アライメントモジュール（TIAM）を備えたテキストガイドサブネットワークを組み込み、意味的な統合を実現しました。
• VQGANと連携してトレーニングされた任意解像度画像超解像モジュール（ARSRM）を組み込みました。
• 38カテゴリーにわたる36,672枚の画像で構成される自然地形シーンデータセット（NTSD）のテキスト説明を生成しました。

主要な成果:

• TG-TSGNetは、画像のリアリズムと意味的一貫性において、ベースライン手法と比較して同等以上のパフォーマンスを示しました。
• このネットワークは、局所的および全体的な地形の特徴と意味の両方を効果的に捉えます。
• 画像生成における計算コストの削減を達成しました。

結論:

• TG-TSGNetは、テキストガイドによる地形シーン生成において重要な進歩を提供します。
• 提案されたアーキテクチャは、リアリズム、意味的一貫性、計算効率のバランスを効果的に取っています。
• このモデルは、高品質な地形データを必要とする要求の厳しいビジュアライゼーションアプリケーションに適しています。