对比等价的自我监督学习改善了与灵长类视觉区域的结合 IT
Thomas Yerxa1, Jenelle Feather1,2, Eero P Simoncelli1,2
1Center for Neural Science, New York University.
概括
自主监督学习模型现在与监督模型相匹配,用于预测大脑活动. 引入了一种新方法",对比-等差",通过保留输入转换来改进这些模型,更好地将它们与视觉感知保持一致.
科学领域:
- 计算神经科学是一种计算神经科学.
- 机器学习是机器学习.
- 灵长类动物的视力
背景情况:
- 自主监督学习 (SSL) 模型与监督模型相匹配,可以预测神经反应.
- 虽然SSL在生物学上是可信的,但它可能会产生过度不变的表示.
- 网络表示需要结构化的可变性,以便更好地与视觉感知保持一致.
研究的目的:
- 开发一个新的框架来改进SSL模型.
- 为了创建保证输入转换的对比等效损失.
- 增强模型预测灵长类动物视觉系统中神经反应的能力.
主要方法:
- 开发了一个新的框架来将不变的SSL损失转换为对比等价的版本.
- 在没有监督的参数访问的情况下,鼓励保存输入转换.
- 测试了模型在预测下皮质神经反应中的性能.
主要成果:
- 提出的对比等效方法系统地提高了模型性能.
- 模型显示了预测神经反应的增强能力.
- 结构化的可变性在表示中改善了与视觉感知的对齐.
结论:
- 将神经计算功能纳入任务优化中,可以构建更好的视觉皮层模型.
- 对比等效为推进AI视觉模型提供了一个有希望的方法.
- 这项工作将机器学习和神经科学联系起来,以提高对视觉处理的理解.
更多相关视频
07:08Investigating Object Representations in the Macaque Dorsal Visual Stream Using Single-unit Recordings
Published on: August 1, 2018
8.2K
07:12Development of a Gaze-Contingent Display Framework Designed for Perceptual and Oculomotor Research with Simulated Central Vision Loss
Published on: April 11, 2025
206
