サービスロボットのための仮想現実ヘッドセットと3D姿勢推定を用いた遠隔操作システム

科学分野:

• ロボット工学
• ヒューマンコンピュータインタラクション
• コンピュータビジョン

背景:

• サービスロボットは、複雑なタスクを実行するために直感的な制御を必要とします。
• 既存の遠隔操作方法は、自然なインタラクションと状況認識を欠いていることがよくあります。
• リアルタイムのヒト姿勢推定とVRを統合することは、有望なソリューションを提供します。

研究 の 目的:

• サービスロボットのための没入型遠隔操作フレームワークを開発すること。
• 3Dヒト姿勢推定とVRを使用して、直感的で自然なロボット制御を可能にすること。
• 状況認識とロボット操作能力を向上させること。

主な方法:

• 2Dランドマーク検出のためにMediaPipeを使用し、深度データのためにIntel RealSense D455カメラを使用しました。
• 3Dヒト関節位置を再構築し、関節角度を計算しました。
• 関節角度をCHARMIEサービスロボットの擬人化アームキネマティクスにマッピングしました。
• ステレオビデオとヘッドモーション制御を備えたVRインターフェースを実装しました。

主要な成果:

• アームの遠隔操作と、現実世界の物体把持タスクにおける効果的な遠隔臨場感を実証しました。
• サービスロボットのアームの直感的な制御を実現しました。
• 軸関節回転における、特にオクルージョンを伴う場合の、視覚のみの推定における限界を特定しました。

結論:

• 提案されたフレームワークは、低コストでセンサー駆動型の没入型ヒューマンロボットインタラクションの実用的なアプローチを提供します。
• このシステムは、動的な環境におけるサービスロボットの能力を向上させます。
• 遠隔操作を改善するために、正確な関節回転推定の限界に対処するため、さらなる研究が必要です。