相关实验视频
Updated: Jan 8, 2026

Cross-Modal Multivariate Pattern Analysis
Published on: November 9, 2011
来自人工神经网络和人类脑损伤模型的综合证据显示,语言在人类感知中调节视觉
Haoyang Chen1,2, Bo Liu3,4,5, Shuyue Wang2
1School of Psychological and Cognitive Sciences and Beijing Key Laboratory of Behavior and Mental Health, Peking University, Beijing, China.
像CLIP这样的深度神经网络 (DNN) 比早期模型更好地解释人类大脑活动. 破坏大脑路径表明语言动态影响视觉感知,支持类似大脑的人工智能发展.
科学领域:
- 认知神经科学 认知神经科学
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
背景情况:
- 将深度神经网络 (DNN) 和人类大脑信息处理进行比较,对于理解认知至关重要.
- 视觉语言的DNN,就像对比的语言图像预训练 (CLIP) 一样,在与人类大脑活动,特别是腹腔皮皮层 (VOTC) 保持一致方面表现有前途.
- DNN的"黑盒子"性质限制了对这些模型-大脑比较的解释.
研究的目的:
- 研究语言系统连接在解释DNN模拟人类VOTC活动的能力方面的因果作用.
- 将模型大脑健身分析与人类大脑病变数据相结合,以评估DNN性能.
主要方法:
- 利用四个不同的数据集进行模型-大脑健身分析.
- 将CLIP (视觉语言DNN) 与ResNet (监督) 和MoCo (无监督) 模型进行比较.
- 分析了33名中风患者的脑损伤数据,重点关注VOTC和语言区域之间的白质完整性.
主要成果:
- 与ResNet和MoCo模型相比,CLIP一致解释了VOTC神经表示中的独特差异.
- CLIP的优势主要是左侧化,与人类语言网络保持一致.
- 减少VOTC和左角回形之间的白质完整性与减少CLIP-大脑对应性和增加MoCo-大脑对应性相关.
结论:
- 语言处理动态地影响人类的视觉感知,脑损伤对模型-大脑对应的影响证明了这一点.
- 这些发现支持将语言调制整合到人类视觉的神经认知模型中.
- 利用人类大脑损伤数据为评估和开发类似大脑的人工智能模型提供了强大的框架.
更多相关视频
13:12Translational Brain Mapping at the University of Rochester Medical Center: Preserving the Mind Through Personalized Brain Mapping
Published on: August 12, 2019
05:38Interaction between Phonological and Semantic Processes in Visual Word Recognition using Electrophysiology
Published on: June 29, 2021
相关概念视频
Higher Mental Functions of the Brain: Language
Language formation and comprehension take place in the dominant hemisphere. The dominant hemisphere is responsible for understanding the meaning of spoken, written, or sign language, as well as the ability to communicate. For most people, the left hemisphere is the dominant one. The right hemisphere, then, gives tone and emotional context to the...
Language and Cognition
Lateralization
Visual System
Once through the pupil, the light passes through the lens, a...
Vision
Parallel Processing