Inversión interpretable del tracto vocal y la respiración mediante operadores neuronales informados por la física

Área de la Ciencia:

• Acústica y Procesamiento de Señales
• Ingeniería Biomédica
• Aprendizaje Automático

Sus antecedentes:

• Las variaciones fisiológicas en los tractos vocales y los sistemas respiratorios desafían el modelado preciso del timbre y el análisis vocal en tiempo real.
• Los métodos actuales basados en datos a menudo carecen de interpretabilidad física y robustez del hablante.
• La reconstrucción precisa de la geometría del tracto vocal y la dinámica respiratoria a partir de datos acústicos es crucial para el análisis vocal avanzado.

Objetivo del estudio:

• Proponer un marco de inversión multimodal informado por la física utilizando operadores de Kolmogorov-Arnold (KAN) para la reconstrucción interpretable de la geometría del tracto vocal y la dinámica respiratoria.
• Lograr alta fidelidad de timbre y baja latencia en el análisis vocal.
• Proporcionar una base para la reconstrucción de timbre de grano fino y el análisis vocal personalizado.

Principales métodos:

• Un KAN anidado de tres capas invierte el espectro de audio en las áreas de sección transversal del tracto vocal.
• Un módulo recursivo con compuerta restringe la evolución de la presión utilizando la conservación de masa-momento.
• Una cabeza de predicción de superresolución optimizada con regularización temporal de orden fraccionario y residuos de la ecuación de onda mejora la fidelidad del timbre.

Principales resultados:

• Se logró una distorsión log-espectral de 1.83 ± 0.32 dB y una tasa de error de subbanda de 6.4 ± 1.1% (1.2-2.4 kHz).
• Se demostró baja latencia de extremo a extremo (14.2-18.3 ms) y uso de memoria compacto (108-121 MB) en dispositivos de borde.
• Se mantuvo un error mínimo en la geometría del tracto vocal (MAE-CSA ≤ 0.23) y un sesgo en la estimación respiratoria (RMSE-P ≤ 0.52) en tipos de voz no vistos.

Conclusiones:

• La integración de operadores neuronales con restricciones físicas permite la inversión precisa, interpretable y en tiempo real de la fisiología vocal.
• El marco propuesto ofrece una base técnica principista para la reconstrucción avanzada del timbre.
• Este enfoque allana el camino para el análisis vocal personalizado y la mejora de la tecnología del habla.