Sistema de Teleoperación para Robots de Servicio Utilizando un Casco de Realidad Virtual y Estimación de Pose 3D

Área de la Ciencia:

• Robótica
• Interacción Humano-Computadora
• Visión por Computadora

Sus antecedentes:

• Los robots de servicio requieren un control intuitivo para tareas complejas.
• Los métodos de teleoperación existentes a menudo carecen de interacción natural y conciencia situacional.
• La integración de la estimación de pose humana en tiempo real con la RV ofrece una solución prometedora.

Objetivo del estudio:

• Desarrollar un marco de teleoperación inmersivo para robots de servicio.
• Permitir un control de robot intuitivo y natural utilizando la estimación de pose humana 3D y la RV.
• Mejorar la conciencia situacional y las capacidades de manipulación del robot.

Principales métodos:

• Se utilizó MediaPipe para la detección de puntos de referencia 2D y una cámara Intel RealSense D455 para datos de profundidad.
• Se reconstruyeron las posiciones 3D de las articulaciones humanas y se calcularon los ángulos de las articulaciones.
• Se mapearon los ángulos de las articulaciones a la cinemática del brazo antropomórfico del robot de servicio CHARMIE.
• Se implementó una interfaz de RV con video estereoscópico y control de movimiento de cabeza.

Principales resultados:

• Demostró una teleoperación de brazo confiable y una telepresencia efectiva en tareas de agarre de objetos en el mundo real.
• Logró un control intuitivo del brazo del robot de servicio.
• Identificó limitaciones en la estimación solo con visión para las rotaciones axiales de las articulaciones, especialmente con oclusiones.

Conclusiones:

• El marco propuesto ofrece un enfoque práctico para la interacción humano-robot inmersiva, impulsada por sensores y de bajo costo.
• El sistema mejora las capacidades de los robots de servicio en entornos dinámicos.
• Se necesita investigación adicional para abordar las limitaciones en la estimación precisa de la rotación de las articulaciones para mejorar la teleoperación.