テキストプロンプトによる3Dシーンの編集：再学習不要

科学分野:

• コンピュータビジョン
• 3Dグラフィックス
• 人工知能

背景:

• 拡散モデルは、2D画像合成と編集において進歩を遂げています。
• これらを3Dシーン編集に拡張することは、シーン表現とマルチビューの一貫性において課題に直面しています。
• 既存の手法では、多くの場合、各編集タスクに対してシーン固有のモジュールと再学習が必要です。

研究 の 目的:

• 汎用的なテキスト駆動型3Dシーン編集手法（DN2N）を提案します。
• モデルの再学習なしで3Dシーンを直接編集できるようにします。
• テキスト駆動型3Dシーン編集におけるマルチビューの一貫性の問題を解決します。

主な方法:

• 3Dシーンのマルチビュー画像に対して、オフザシェルフの2Dテキストベース編集モデルを利用します。
• 3Dの一貫性を維持するために、コンテンツフィルタリングを適用します。
• 摂動を軽減するために、新しいクロスビュー正則化項を備えた汎用的なニューラル放射場（NeRF）モデル構造を開発します。

主要な成果:

• 外観の変化、天候の遷移、オブジェクトの置き換え、スタイルの転送など、テキストプロンプトによる複数の編集タイプを実証します。
• シーン固有または編集タイプ固有のモデルカスタマイズや再学習なしで、汎用的な編集機能を実現します。