SSIFNet:自己監視手術のビデオインペインティングのための時空ステレオ情報融合ネットワーク

科学分野:

• 医療用イメージング
• コンピュータ・ビジョン
• ロボット 手術

背景:

• ロボットによる最小侵襲手術は ステレオ内視鏡に 依存しています
• 制限された視野と装置の遮断は,視覚化に重大な課題をもたらします.
• 隠された解剖学的標識は 正確な外科的評価を妨げます

研究 の 目的:

• 手術ビデオのインペインティングのための新しいエンドツーエンドの訓練可能なネットワーク,SSIFNetを提案する.
• ロボットによる内視鏡手術における 器具閉塞の課題に取り組むこと
• 手術の場面の隠れた領域を再現することで 視覚化を強化します

主な方法:

• オプティカル・フロー・ガイデッド・デフォルメブル・フィーチャー・プロパガンダ (OFDFP),スペース・タイム・ステレオ・フォーカル・トランスフォーマー (S2FT),ステレオ・コンシスタンシー・エンフォサンス (SE) モジュールを含むSSIFNetを開発した.
• 新しい損失関数を用いた模擬閉塞による自己監督訓練を実施した.
• 統合フロー完了,差異マッチング,クロス歪み一致性,歪み一致性,画像,および敵対的な損失条件.

主要な成果:

• SSIFNetは 外科ビデオに隠された領域を成功裏に描き出し,空間,時間,ステレオの一貫性を維持しています.
• ネットワークは,両方のステレオビューで高精度で正確な遮断再構築を達成します.
• 実験結果は,SSIFNetが最先端のビデオインペインティング方法よりも優れていることを示しています.

結論:

• SSIFNetは ロボットによる手術における 器具の遮断によって引き起こされる視覚化課題を 効果的に克服しています
• 提案された方法は,一貫して正確な再構築を提供することによって,手術現場の理解を高めます.
• SSIFNetは,最小侵襲的処置における画像誘導を改善するための有望なソリューションです.