アンサンブルエンコーダーによるマルチモーダルおよび柔軟なスケールデータを用いたプロアクティブな人間組立意図認識

科学分野:

• ロボット工学
• 人工知能
• コンピュータビジョン

背景:

• 人間とロボットの協調（HRC）アセンブリでは、安全性と効率のために正確な相互理解が必要です。
• 人間組立意図認識（HAIR）はHRCにとって重要ですが、現在の方法では、産業データの制限、スケールのばらつき、オクルージョンなどの問題に対処するのが困難です。

研究 の 目的:

• HRCアセンブリにおけるHAIRを改善するためのアンサンブルエンコーダーアプローチを提案すること。
• 複雑な条件下での視覚および骨格データからの時空間特徴を効果的に抽出および融合すること。

主な方法:

• マルチスケール特徴融合のためのクロスアテンションを備えたRGB特徴抽出エンコーダー（RGBE）を開発しました。
• フレームおよびジョイントマスキングを使用してオクルージョンを処理するマスクアウェア骨格特徴抽出エンコーダーを設計しました。
• グローバル特徴融合エンコーダーを使用して特徴を統合し、包括的なアクション表現を実現しました。

主要な成果:

• MCV-Intentionで99.12%、HA4Mで99.23%、HA-VIDで84.59%という最先端の精度を達成しました。
• オクルージョンや照明条件の変化下でも堅牢なパフォーマンスを示しました。
• アブレーションスタディにより、フュージョン戦略とコンポーネントの有効性が確認されました。

結論:

• 提案されたアンサンブルエンコーダーは、HRCアセンブリにおけるHAIRの精度と効率を大幅に向上させます。
• この方法は、データ制限、スケールのばらつき、視覚的オクルージョンなどの課題に効果的に対処します。
• このアプローチは、よりインテリジェントで信頼性の高い協調ロボットシステムの開発を進めます。