DFormer++: RGBD表現学習のセマンティックセグメンテーションへの改良

科学分野:

• コンピュータビジョン
• 機械学習

背景:

• RGB-Dセマンティックセグメンテーションは、RGBで事前学習されたモデルとRGB-Dデータとの間の不一致により課題に直面しています。
• 既存の方法では、深度マップに存在する3D幾何学的関係を効果的にエンコードできないことがよくあります。

研究 の 目的:

• RGB-Dセマンティックセグメンテーションのための転移可能な表現を学習するための新しい事前学習・ファインチューニングフレームワークであるDFormer++を提案すること。
• RGB-Dセマンティックセグメンテーションにおける一般的な不一致問題に対処すること。

主な方法:

• ImageNet-1Kの画像深度ペアを使用してバックボーンを事前学習し、RGB-D表現の直接エンコーディングを可能にするフレームワークであるDFormer++を開発しました。
• RGBおよび深度情報の両方をエンコードするために調整された新しい注意メカニズムを備えたRGB-D注意ブロックを導入しました。

主要な成果:

• DFormer++は、RGBで事前学習されたバックボーンによる3Dジオメトリの不一致エンコーディングを効果的に回避します。
• 調整されたアーキテクチャは冗長なパラメータを削減し、効率的で正確なRGB-D知覚を実現します。
• 3つの一般的なRGB-Dセマンティックセグメンテーションベンチマークで最先端のパフォーマンスを達成しました。

結論:

• 提案されたDFormer++フレームワークは、堅牢なRGB-D表現をうまく学習します。
• 新しいアーキテクチャと事前学習戦略は、RGB-Dセマンティックセグメンテーションにおけるパフォーマンスと効率を大幅に向上させます。