基于自我注意的上下文调制改善了神经系统识别

科学领域:

• 计算神经科学是一种神经科学.
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 初级视觉皮层神经元通过横向和反连接来处理上下文信息.
• 标准卷积神经网络 (CNN) 使用连续的卷积和读取层进行上下文调制.

研究的目的:

• 评估自我注意力 (SA) 机制,以建模视觉皮层神经元反应.
• 使用神经反应预测指标,将SA模型与参数匹配的CNN进行比较.

主要方法:

• 引入了"峰值调整"作为衡量模型捕获神经元首选特征的能力的指标.
• 分成因子的网络组件来分析本地受体场和周围信息贡献.
• 评估受感场和上下文调制的增量学习.

主要成果:

• 自我注意力比CNN在调整曲线相关性和峰值调整方面改善了神经反应预测.
• 局部接收场信息是整体调整的关键,而环境信息对于调整峰值至关重要.
• 自我注意可以取代空间整合卷曲,并补充完全连接的读取层.

结论:

• 自我注意提供了一个更有效的机制,用于模拟视觉皮层神经元中的上下文调制.
• 将学习分解为受感场和语境调制,逐步是围绕中心交互的强大策略.