操纵和测量深度神经网络 (DNN) 对象表示中的变化
Jason K Chow1, Thomas J Palmeri1
1Department of Psychology, Vanderbilt University, USA.
Cognition
|August 20, 2024
概括
深度神经网络 (DNN) 揭示了视觉认知中的个体差异. 训练数据频率,而不是模型随机化,显著影响DNN中的对象表示,为认知科学提供了洞察力.
科学领域:
- 认知科学是一种认知科学.
- 计算神经科学是一种计算神经科学.
- 计算机视觉 计算机视觉 计算机视觉
背景情况:
- 深度神经网络 (DNN) 产生了丰富的对象表示.
- 了解视觉认知中的个体差异至关重要.
- DNN为研究这些差异提供了一个计算框架.
研究的目的:
- 量化DNN表示中的个体差异.
- 探索各种训练操作对DNN表示的影响.
- 建立一个代表变化的基线.
主要方法:
- 系统地探索表示相似度措施:表示相似度分析 (RSA),中心内核对齐 (CKA) 和投影加权法定关联分析 (PWCCA).
- 通过随机变化的初始权重,训练图像顺序,图像频率,类别频率,模型大小和架构 (All-CNN-C,VGG,ResNet) 来操纵DNN.
- 使用图像增强技术建立了表示变化的基线.
主要成果:
- 模型随机化和尺寸的变化没有超过基线.
- 训练图像频率和类别频率的差异导致表现变化超过了基线.
- 训练类别的频率操纵在网络层中表现得更早.
结论:
- 训练数据的特征,特别是类别频率,显著影响DNN对象表示.
- 调查结果提供了关于DNN中表示变化的程度的见解.
- 这项工作是使用DNN建模高水平视觉认知的个体差异的基础.
