混合音声聴覚支援条件下における話者同定のための脳波に基づく聴覚的注意デコーディング

科学分野:

• 神経科学
• 生物医学工学
• 信号処理

背景:

• 脳波（EEG）を用いた話者同定のための聴覚的注意デコーディング（AAD）は、聴覚障害者にとって困難です。
• 既存の方法では、補聴器による聴覚知覚の変化を考慮できず、堅牢なEEG音声特徴抽出が不足しています。
• 限られたデータセットと弱いクロスモーダルアライメントが、効果的なSI-AADの聴覚支援のための開発を妨げています。

研究 の 目的:

• 聴覚障害者向けの話者同定聴覚的注意デコーディング（SI-AAD）のための新しいフレームワークを開発すること。
• 聴覚支援デバイスの音響変化をシミュレートする最初のEEGベンチマークデータセット（MS-AAD）を作成すること。
• 改善されたモダリティアライメントと特徴抽出を通じて、EEG-音声の対応を強化すること。

主な方法:

• デバイス誘発性音響変化をシミュレートする5つの混合音声AADデータセット（MS-AAD）の構築（空間キューなし）。
• モダリティアライメント強化のための対照学習と補助的音色分類を用いた音色強調潜在アライメント（TELA）フレームワークの提案。
• 高度なニューラルパターン抽出のための周波数-チャネル-時間注意に基づくEEGエンコーダーであるFCTNetの設計。

主要な成果:

• TELAおよびFCTNetの共同フレームワークは、多様な聴覚条件下でSI-AADにおいて89.5%の精度を達成しました。
• MS-AADデータセットが、現実的な聴覚支援条件下をシミュレートする上で有効であることが実証されました。
• 知覚誘導型表現学習と高度なEEGエンコーディングの重要性が検証されました。

結論:

• 開発されたSI-AADアプローチは、デバイス誘発性音響変化に対処することにより、聴覚障害者のパフォーマンスを大幅に向上させます。
• MS-AADデータセットとTELAフレームワークは、聴覚支援技術における将来の研究のための貴重なベンチマークと方法論を提供します。
• 高度なEEGエンコーディングと表現学習は、複雑な聴覚環境における堅牢なSI-AADに不可欠です。