通过重新思考计算机视觉基准数据集,促进从像素级相关性向对象语义学习的转变
Maria Osório1, Andreas Wichert2
1Department of Computer Science and Engineering, INESC-ID and Instituto Superior Técnico, University of Lisbon, 2744-016 Porto Salvo, Portugal maria.osorio@tecnico.ulisboa.pt.
Neural computation
|May 22, 2024
概括
卷积神经网络 (CNN) 在模式识别方面表现出色,但与人类视觉不同. 我们的研究表明,CNN优先考虑像素数据,而不是颜色,纹理和形状等核心特征,因此需要更有语义意识的模型.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 卷积神经网络 (CNN) 通过从原始像素数据中学习来实现图像识别的高精度.
- CNNs的模式识别不同于人类的视觉感知,重点是统计相关性,而不是对象语义.
- 了解这些差异对于开发更强大的和类似人类的人工智能视觉系统至关重要.
研究的目的:
- 调查CNN视觉特征提取和人类感知之间的差异.
- 为了确定CNN是否优先考虑像素级的相关性,而不是基本的视觉特征 (颜色,纹理,形状).
- 强调需要人工智能模型来学习对象语义,以改善视觉理解.
主要方法:
- 将核心视觉特征 (颜色,纹理,形状) 分离并单独输入到神经网络中.
- 在不同的基准数据集上进行实验:水果360,CIFAR-10和时尚MNIST.
- 评估CNN在不同分布的数据集上的表现 (CIFAR-10与斯坦福犬),以评估概括性.
主要成果:
- 分类准确性因数据集而异,表明CNN学习数据集特定的像素相关性.
- 当训练和测试数据分布相似时,CNN表现良好,但在分布转移方面遇到了困难.
- 与CIFAR-10相比,尽管视觉内容相似,但CNN在斯坦福犬的图像上表现不佳,这凸显了语义理解的缺乏.
结论:
- 深度学习模型,特别是CNN,倾向于学习表面的像素级模式,而不是对人类认知至关重要的基本视觉特征.
- 美国有线电视新闻网 (CNN) 的表现与人类视觉感知之间的差异凸显了当前人工智能模型掌握对象语义能力的局限性.
- 专注于语义理解的专用数据集和模型的开发对于推进计算机视觉研究向人类类认知发展至关重要.
相关概念视频
Depth Perception and Spatial Vision
631
Depth perception is the ability to perceive objects three-dimensionally. It relies on two types of cues: binocular and monocular. Binocular cues depend on the combination of images from both eyes and how the eyes work together. Since the eyes are in slightly different positions, each eye captures a slightly different image. This disparity between images, known as binocular disparity, helps the brain interpret depth. When the brain compares these images, it determines the distance to an object.
631
Vision
53.1K
Vision is the result of light being detected and transduced into neural signals by the retina of the eye. This information is then further analyzed and interpreted by the brain. First, light enters the front of the eye and is focused by the cornea and lens onto the retina—a thin sheet of neural tissue lining the back of the eye. Because of refraction through the convex lens of the eye, images are projected onto the retina upside-down and reversed.
53.1K


