自己教師あり学習によるマルチキュー不確実性モデリングを介した自己教師ありフローおよび深度推定

科学分野:

• コンピュータビジョン
• 機械学習
• ロボット工学

背景:

• 動的なシーンからモーションおよび3D構造を推定することは、コンピュータビジョンにとって重要です。
• 自己教師あり学習は、手動アノテーションの費用効果の高い代替手段を提供しますが、オクルージョンや非剛体運動には苦労します。
• 既存の方法では、これらの課題を個別のヒューリスティックで処理することが多く、有効性が制限されています。

研究 の 目的:

• 動的なシーンにおけるロバストなモーションおよび深度推定のための統一されたフレームワークを開発すること。
• 自己教師あり学習のための監視信号としてタスクの不一致を活用すること。
• オクルージョン、テクスチャの曖昧さ、および非剛体運動の処理を改善すること。

主な方法:

• UGFD（不確実性ガイドフローおよび深度）フレームワークを提案しました。
• タスク内（勾配の不一致）およびタスク間（フロー深度剛性違反）の不一致をモデル化することにより、密な不確実性マップを導き出しました。
• ガイド付き学習と集中型最適化のために、コンテキストアウェア不確実性（CAU）モジュールと非剛性駆動（URD）損失を導入しました。

主要な成果:

• KITTIベンチマークで最先端のパフォーマンスを達成しました。
• SintelおよびFlyingThings3Dデータセットでのゼロショットテストを通じて、堅牢な汎化機能を示しました。
• さまざまなエラーソースの処理を、一貫した不確実性フレームワークで正常に統合しました。

結論:

• 提案された不確実性推定パラダイムは、自己教師ありモーションおよび深度推定の限界を効果的に解決します。
• UGFDフレームワークは、信頼性を評価することを学習することにより、グラウンドトゥルースデータなしで堅牢な推定を可能にします。
• このアプローチは、正確な3Dシーンの理解を必要とするコンピュータビジョンタスクにとって大きな進歩を提供します。