物理情報ニューラルオペレーターによる解釈可能な声道および呼吸器系の逆問題

科学分野:

• 音響学と信号処理
• 生体医工学
• 機械学習

背景:

• 声道の生理学的な変動と呼吸器系は、正確な音色モデリングとリアルタイム音声分析に課題をもたらす。
• 現在のデータ駆動型手法は、物理的な解釈可能性と話者ロバスト性が欠如していることが多い。
• 音響データから声道の形状と呼吸のダイナミクスを正確に再構築することは、高度な音声分析にとって重要である。

研究 の 目的:

• 声道道の形状と呼吸のダイナミクスを解釈可能に再構築するために、Kolmogorov-Arnold (KAN) オペレーターを使用した物理情報マルチモーダル逆問題フレームワークを提案する。
• 音色の忠実度と音声分析の低遅延を達成する。
• 微細な音色の再構築とパーソナライズされた音声分析の基盤を提供する。

主な方法:

• ネストされた3層KANが、音声スペクトルを声道の断面積に逆変換する。
• ゲート付き再帰モジュールが、質量運動量保存を使用して圧力進化を制約する。
• 分数階時間正則化と波動方程式残差で最適化された超解像予測ヘッドが、音色の忠実度を向上させる。

主要な成果:

• 対数スペクトル歪み 1.83 ± 0.32 dB、サブバンドエラー率 6.4 ± 1.1% (1.2-2.4 kHz) を達成した。
• エッジデバイスでの低エンドツーエンド遅延 (14.2-18.3 ms) とコンパクトなメモリ使用量 (108-121 MB) を実証した。
• 未知の音声タイプ全体で、最小限の声道形状誤差 (MAE-CSA ≤ 0.23) と呼吸推定バイアス (RMSE-P ≤ 0.52) を維持した。

結論:

• ニューラルオペレーターと物理的制約を統合することで、音声生理学の正確で解釈可能でリアルタイムな逆問題が可能になる。
• 提案されたフレームワークは、高度な音色再構築のための原理的な技術的基盤を提供する。
• このアプローチは、パーソナライズされた音声分析と音声技術の向上のための道を開く。