オーディオビジュアル音声認識の深層ニューラルネットワークモデルは,マクグルク効果を報告しています

Haotian Ma¹, Zhengjia Wang¹, Xiang Zhang¹

¹Department of Neurosurgery, Perelman School of Medicine, University of Pennsylvania, Philadelphia, PA, USA.

|February 18, 2026

まとめ

ディープニューラルネットワーク (DNN),AVHuBERTは,マックギルク効果を成功裏に複製し,人間のようなオーディオビジュアルスピーチ知覚を示しました. この発見は,DNNが,私たちがスピーチをどのように処理するかを理解するための新しい枠組みを提供することを示唆しています.

科学分野:

コグニティブ・サイエンスコグニティブ・サイエンス
神経科学は神経科学である.
人工知能 (AI) とは,人工知能 (AI) のことです.

背景:

マクグルク効果は,音声知覚が聴覚と視覚のシグナルを統合していることを明らかにします.
現在のベイジアンモデルは,マクグルク効果で観察された多様な知覚を予測するのに苦労しています.
オーディオ・ビジュアルスピーチ知覚の研究には,高度なモデリングフレームワークが必要です.

研究の目的:

ディープニューラルネットワーク (DNN),AVHuBERTが,マクグルク効果をモデル化できるかどうかを調査する.
AVHUBERTのパフォーマンスを, McGurkの音節に対する人間の知覚と比較するために.
伝統的なベイジアン推論を超えた代替モデリングアプローチを探求する.

主な方法:

AVHuBERTモデルのバリエーションは,マックギルク音節 (聴覚的な"ba"と視覚的な"ga") で訓練されました.
非"ba"の知覚のモデルによる識別が記録された.
人間参加者 (100人) は,比較のために同じマググルク刺激を与えられました.

主要な成果:

AVHuBERTはマクグルク効果を示し,59%の試験で"非"の知覚を特定しました.
人間の参加者は,試験の56%で非"ba"の知覚を報告しました.
AVHUBERTとヒトの両方とも",da"",ah",そして"fa"を含む幅広い知覚を示しました.

結論:

AVHuBERTのような深層ニューラルネットワークは,McGurk効果を効果的にモデル化することができます.
DNNは,現在のベイジアンモデルによって予測されていないオーディオビジュアルスピーチ知覚現象の説明において有望である.
DNNとベイジアンモデルは,人間のスピーチ知覚メカニズムに関する補完的な洞察を提供することができる.

キーワード:

オーディオ・ビジュアル・スピーチ・パーセプションマクグルク効果 (McGurk Effect) とは,マクグルク効果 (McGurk Effect) とは,マクグルク効果 (McGurk Effect) とは,マクグルク効果 (McGurk Effect) とは,マクグルク効果 (McGurk Effect) とは,マクグルク効果 (McGurk Effect) とは,マクグルク効果 (McGurk Effect) とはマルチセンサリー統合ニューラルネットワークモデリング

さらに関連する動画