关于上下文概率与N400幅度之间的数学关系
James A Michaelov1, Benjamin K Bergen1
1Department of Cognitive Science, University of California San Diego.
Open mind : discoveries in cognitive science
|July 30, 2024
概括
亚算数字概率最好预测N400大脑对语言理解的反应. 这一发现,使用变压器语言模型,为语言统计数据如何影响处理难度提供了新的见解.
科学领域:
- 认知科学 认知科学
- 神经科学是一个神经科学.
- 计算语言学 计算语言学
背景情况:
- 讨论了单词概率和语言理解中的处理困难之间的关系.
- 现有的模型提出线性,对数或超对数关系,但经验证据是混合的.
- 目前的理论还不能完全解释统计语言属性如何影响理解.
研究的目的:
- 为了研究体源词概率与N400大脑反应之间的数学关系.
- 为了确定哪个词概率转换最好预测N400幅度.
- 测试当代变压器语言模型对N400数据的预测.
主要方法:
- 利用37个变压器语言模型计算上下文单词概率.
- 分析了6项测量N400反应的实验研究的数据.
- 测试了线性,对数,超对数和亚对数的概率转换,包括组合.
主要成果:
- 复制的发现结合了线性和对数概率转换,在某些数据集中更好地预测N400振幅.
- 在大多数模型和数据集中,确定了以次数算力转换的概率作为优越的单一预测器.
- 证明子对数转换解释了以前归因于线性和对数转换的方差.
结论:
- 亚逻辑概率是语言理解中N400幅度的新且高效的预测器.
- 这一发现挑战了现有的语言处理理论解释.
- 突出了统计语言规律在理解理解过程中神经反应的重要性.
关键词:
N400 N400 没有与事件相关的大脑潜力与事件相关的大脑潜力.人类语言处理.信息理论信息理论语言理解语言理解.自然语言处理自然语言处理.神经语言模型的神经语言模型心理学语言学 心理学语言学这是一个令人惊的惊喜.更多相关视频
05:38Interaction between Phonological and Semantic Processes in Visual Word Recognition using Electrophysiology
Published on: June 29, 2021
2.3K
08:17A Semantic Priming Event-related Potential ERP Task to Study Lexico-semantic and Visuo-semantic Processing in Autism Spectrum Disorder
Published on: April 12, 2018
10.5K
