TSMS-SAM2：手術シナリオにおけるプロンプト可能なビデオオブジェクトセグメンテーションおよびトラッキングのためのマルチスケール時間サンプリング拡張とメモリ分割プルーニング

科学分野:

• コンピュータビジョン
• 医用画像処理
• 手術支援ロボット

背景:

• Segment Anything Model 2（SAM2）のような基盤モデルは、プロンプト可能なビデオオブジェクトセグメンテーションおよびトラッキング（VOST）を進歩させてきました。
• 外科用ビデオへのVOSTの適用は、SAM2における複雑なモーションとメモリ冗長性により困難であり、効果的な学習を妨げています。
• 既存の方法は、外科環境の動的で複雑な性質に対処するのに苦労しています。

研究 の 目的:

• 新しいフレームワークTSMS-SAM2を開発することにより、外科用ビデオにおけるプロンプト可能なVOSTを強化すること。
• SAM2の急速なオブジェクトモーションとメモリ冗長性の課題を外科的応用に向けたものとして対処すること。
• 複雑な外科シナリオにおけるセグメンテーションの堅牢性と効率を向上させること。

主な方法:

• モーションの変動に対応するためのマルチ時間スケールビデオサンプリング拡張機能を備えたTSMS-SAM2フレームワークを提案しました。
• 過去のフレーム特徴を整理およびフィルタリングするためのメモリ分割およびプルーニングメカニズムを実装しました。
• 評価のためにEndoVis2017およびEndoVis2018データセットを使用しました。

主要な成果:

• TSMS-SAM2は、EndoVis2017で95.24±0.96％、EndoVis2018で86.73±15.46％の平均ダイススコアで最先端のパフォーマンスを達成しました。
• 外科用ビデオセグメンテーションにおいて、以前のSAMベースおよびタスク固有の方法を上回りました。
• アブレーションスタディにより、マルチスケール時間拡張およびメモリ分割の効果が検証されました。

結論:

• TSMS-SAM2は、複雑な外科用ビデオにおけるプロンプト可能なVOSTのための堅牢で効率的なソリューションを提供します。
• 提案されたフレームワークは、モーションダイナミクスとメモリ冗長性に対処することにより、セグメンテーション精度を大幅に向上させます。
• この発見は、コンピュータ支援手術と分析を進歩させるTSMS-SAM2の可能性を強調しています。