動的オクルージョン手術シーン再構成のための拡散ガイド付きガウシアン スプラッティング: DiGS

科学分野:

• 支援手術
• 医用画像処理
• 3D再構成

背景:

• 正確な3D再構成は、支援手術におけるコンピュータ支援に不可欠です。
• 器械のオクルージョンを伴う動的な手術シーンは、再構成に大きな課題をもたらします。
• 既存の3Dガウシアン スプラッティング (3DGS) 手法は、オクルージョン領域における不完全な表面やエラーの伝播に対処するのに苦労しています。

研究 の 目的:

• 動的にオクルージョンされた外科環境における3D再構成の精度を向上させること。
• オクルージョンとモーションエラーを処理する際の現在の3DGSアプローチの制限に対処すること。

主な方法:

• 拡散ガイド付きガウシアン スプラッティング (DiGS) フレームワークを提案しました。
• オクルージョン領域の外科シーンの事前知識を利用した拡散ガイド付き表面補完ネットワークを開発しました。
• 内視鏡のモーション推定エラーを修正し、最適化を安定させるための軽量アニーリング平滑化メカニズムを実装しました。

主要な成果:

• DiGSはEndoNeRFおよびStereoMISデータセットで最先端の方法よりも優れた性能を発揮しました。
• EndoNeRFでLPIPSが61.75%改善され、オクルージョンされたシーンでの知覚的整合性が向上しました。
• StereoMISでは、PSNRが7.03%、LPIPSが40.79%改善され、SSIMスコアが高くなり、構造の詳細の保持が優れていることが示されました。

結論:

• DiGSフレームワークは、困難な外科シーンにおける3Dモデルの精度と時間的コヒーレンスを効果的に向上させます。
• 外科シーンの再構成における動的なオクルージョンとモーションによって引き起こされるエラーを正常に対処します。
• DiGSコードは、さらなる研究開発のために公開されています。