Un enfoque basado en cámara 3D para el reconocimiento de configuración de manos en tiempo real en Lengua de Señas...

Área de la Ciencia:

• Visión por Computadora
• Interacción Humano-Computadora
• Lingüística

Sus antecedentes:

• La sordera presenta barreras de comunicación, especialmente sin intérpretes de lengua de señas.
• El reconocimiento de la configuración de las manos es vital para comprender lenguas de señas como la Lengua de Señas Italiana (LIS).
• Los métodos existentes a menudo integran el reconocimiento de configuración con el modelado de gestos temporales.

Objetivo del estudio:

• Abordar el reconocimiento de la configuración de las manos como una tarea de clasificación independiente para LIS.
• Proponer un marco de visión por computadora que utilice la detección RGB-D para esta tarea.
• Evaluar el impacto de los datos de profundidad reales en el rendimiento de la clasificación.

Principales métodos:

• Se desarrolló un marco que combina la extracción de puntos de referencia de manos de MediaPipe con características geométricas 3D normalizadas.
• Se empleó un clasificador de Máquinas de Vectores de Soporte (SVM) para el reconocimiento de configuración.
• Se integraron mediciones de profundidad RGB-D adquiridas por el sensor con características basadas en puntos de referencia.

Principales resultados:

• El método propuesto mejora significativamente el rendimiento de clasificación y la separabilidad de clases para las configuraciones de manos LIS.
• El uso de datos de profundidad reales mejora el reconocimiento, especialmente para configuraciones geométricamente similares.
• La desacoplamiento del reconocimiento de configuración del modelado temporal simplifica la tarea y mejora los resultados.

Conclusiones:

• Los datos de profundidad reales son críticos para el reconocimiento robusto de la configuración de las manos en LIS.
• El marco propuesto ofrece un enfoque prometedor para el desarrollo de sistemas avanzados de análisis de LIS.
• Este trabajo avanza en el campo del reconocimiento de lenguas de señas al centrarse en el problema fundamental a nivel de configuración.