视听语音识别的深度神经网络模型报告了麦格格尔克效应

科学领域:

• 认知科学 认知科学
• 神经科学是一个神经科学.
• 人工智能的人工智能

背景情况:

• 麦格格尔克效应显示,语音感知整合了听觉和视觉线索.
• 目前的贝叶斯模型很难预测麦格鲁克效应中观察到的多样化的感知.
• 视听语音感知研究需要先进的建模框架.

研究的目的:

• 为了调查一个深层神经网络 (DNN),AVHuBERT,是否可以模拟麦格格尔克效应.
• 将AVHuBERT的表现与人类对麦格古克音节的感知进行比较.
• 探索超越传统贝叶斯推理的替代建模方法.

主要方法:

• 在AVHuBERT模型变体中,他们训练了麦格格尔克的音节 (听觉的"ba"与视觉的"ga").
• 记录了模型对非"ba"感知的识别.
• 人类参与者 (100人) 接受了相同的麦格格尔克刺激以进行比较.

主要成果:

• AVHuBERT证明了麦格格尔克效应,在59%的试验中识别了非"ba"感知.
• 人类参与者在56%的试验中报告了非"ba"感知.
• 无论是AHUBERT还是人类,都表现出广泛的感知能力,包括"da"",ah"和"fa".

结论:

• 像AVHuBERT这样的深度神经网络可以有效地模拟麦格格尔克效应.
• 在解释目前贝叶斯模型无法预测的视听语音感知现象方面,DNN显得有前途.
• DNN和贝叶斯模型可能为人类语音感知机制提供互补的见解.