SBT-Net：うつ病認識のためのトリキュー誘導型マルチモーダル融合フレームワーク

科学分野:

• 計算精神医学
• ヘルスケアにおける人工知能
• マルチモーダル機械学習

背景:

• 早期のうつ病検出は公衆衛生にとって重要である。
• 現在のマルチモーダル方法は、不完全なデータ、意味的な不一致、および変動する感情状態などの課題に直面している。
• 堅牢なうつ病検出には、高度な分析フレームワークが必要である。

研究 の 目的:

• オーディオおよびテキストデータを使用した堅牢なうつ病検出のための新しいSemantic-Bias-Trend誘導フレームワークであるSBT-Netを提案する。
• 既存のマルチモーダルうつ病検出方法の限界に対処する。
• 自動うつ病評価の精度と信頼性を向上させる。

主な方法:

• 特徴フィルタリングのための意味的誘導型クロスモーダルゲーティング（SGCMG）メカニズムを組み込んだSBT-Netを開発した。
• インターモーダル融合とアライメントを強化するために、バイアス誘導型テンソル積アテンション（BG-TPA）メカニズムを統合した。
• うつ病状態の時間的ダイナミクスを捉えるために、感情トレンドモデリング（ETM）モジュールを利用した。

主要な成果:

• SBT-Netは、ベンチマークデータセット（DAIC-WOZ、EATD-Corpus）で93.0％の精度、0.93のF1スコア、0.92の再現率を達成しました。
• パフォーマンスは、複数の評価指標で競争力のあるベースラインモデルを上回りました。
• アブレーション研究により、個々のモジュールおよび組み合わせたモジュールの重要な貢献が確認されました。

結論:

• 提案されたSBT-Netフレームワークは、マルチモーダルうつ病検出において優れたパフォーマンスを示している。
• 意味的ガイダンス、バイアス認識融合、および感情トレンドモデリングを統合することにより、堅牢性が向上する。
• 調査結果は、自動メンタルヘルスモニタリングソリューションの進歩に向けた有望な方向性を示唆している。