Interfaz de Reconocimiento de Habla Silenciosa Autoalimentada Basada en TENG: de la Comunicación Asistencial a la...

Área de la Ciencia:

• Ingeniería Biomédica
• Interacción Humano-Computadora
• Ciencia de Materiales

Sus antecedentes:

• La comunicación de habla silenciosa es un área vital para personas con impedimentos del habla.
• La adquisición y decodificación en tiempo real de movimientos mandibulares para el reconocimiento del habla silenciosa sigue siendo un desafío.
• Los métodos existentes carecen de la sensibilidad y precisión requeridas para una decodificación confiable del habla silenciosa.

Objetivo del estudio:

• Desarrollar un sistema de reconocimiento de habla silenciosa en tiempo real.
• Integrar un sensor de presión flexible (FPS) basado en nanogenerador triboeléctrico con un marco de aprendizaje profundo.
• Permitir el control sin contacto de dispositivos a través del habla silenciosa decodificada.

Principales métodos:

• Se utilizó una película de silicona con estructura de pirámide porosa en un FPS para la detección sensible de presión de baja fuerza.
• Se desarrolló una red híbrida de red neuronal convolucional-memoria a largo plazo (CNN-LSTM) para la decodificación de señales.
• Se integró el FPS y el modelo CNN-LSTM para la adquisición y el reconocimiento del habla silenciosa en tiempo real.

Principales resultados:

• El FPS demostró alta sensibilidad en la detección de movimientos mandibulares de baja fuerza (1 V N⁻¹ para 0-10 N y 4,6 V N⁻¹ para 10-24 N).
• El modelo CNN-LSTM logró una precisión de clasificación del 95,83 % para 30 categorías de palabras diarias.
• Las señales de habla silenciosa decodificadas se tradujeron con éxito en comandos ejecutables de teléfonos inteligentes.

Conclusiones:

• El sistema propuesto ofrece una solución prometedora para el reconocimiento y la comunicación del habla silenciosa.
• La integración de sensores avanzados y aprendizaje profundo permite una interacción humano-máquina sin contacto de precisión.
• Las aplicaciones potenciales incluyen entornos AR/VR y tecnologías de asistencia para personas con impedimentos del habla.