Los efectos temporales de la inmersión auditiva y visual en el nivel del habla en entornos virtuales

Área de la Ciencia:

• Integración multisensorial
• Producción del habla
• Interacción humano-computadora

Sus antecedentes:

• La producción del habla está influenciada por los entornos físicos, incluidas las propiedades visuales y acústicas.
• La interacción entre las señales visuales de una sala y su acústica real en la producción del habla no se comprende bien.
• Investigaciones previas indican que la reverberación afecta el nivel del habla, pero la interacción con la información visual es limitada.

Objetivo del estudio:

• Investigar cómo la información audiovisual influye en el nivel del habla.
• Examinar los efectos de la reverberación variable y los efectos visuales de la sala en la producción del habla.
• Comprender la dinámica temporal de las influencias visuales y auditivas en el habla.

Principales métodos:

• Los participantes completaron tareas de habla en entornos virtuales con reverberación controlada y características visuales de la sala (sala hemi-anecoica, aula, gimnasio).
• El nivel del habla se analizó utilizando modelos mixtos de efectos aditivos generalizados para evaluar los cambios temporales.
• Comparación del nivel del habla en diferentes condiciones audiovisuales.

Principales resultados:

• La información visual impactó significativamente el nivel del habla, pero no siempre como se esperaba según la acústica percibida o el tamaño de la sala.
• La información auditiva demostró un efecto general más fuerte sobre el nivel del habla en comparación con la información visual.
• La influencia visual sobre el nivel del habla fue inicialmente fuerte pero disminuyó con el tiempo, mientras que la influencia auditiva creció y se estabilizó.

Conclusiones:

• Las señales visuales juegan un papel en la modulación del nivel del habla, complementando la retroalimentación auditiva.
• La información auditiva ejerce una influencia más sustancial en la regulación del nivel del habla que la información visual.
• Los hallazgos avanzan la comprensión de la integración multisensorial en el control del habla, con aplicaciones para la comunicación virtual y la mejora del rendimiento vocal.