层次抽象驱动了深度学习模型中类似人类的3D形状处理

科学领域:

• 计算机视觉 计算机视觉
• 认知科学 认知科学
• 人工智能的人工智能

背景情况:

• 深度学习模型和人类可以从3D点云中识别物体.
• 当前的模型实现了类似人类的性能,但可能无法开发类似的3D形状表示.
• 现有证据表明,模型学习了局部几何结构,但可能对全球形状的理解有限.

研究的目的:

• 调查深度学习模型是否开发与人类视觉相比的3D形状表示.
• 测试深度学习模型具有3D全球形状有限表示的假设.
• 将不同深度学习架构的性能与3D形状识别任务中的人类性能进行比较.

主要方法:

• 进行了三项人体实验,操纵了点密度,物体定向,局部几何和零件配置.
• 用基于卷积 (DGCNN) 和基于变压器 (点变压器) 的深度学习模型比较人类性能.
• 利用消光模拟来识别驱动模型性能的关键架构特征.

主要成果:

• 人类的表现在点密度,方向和局部几何学的变化中保持稳定.
• 当对象的部分被混时,人类的性能显著下降,这表明对全球配置的敏感性.
• 与基于卷积的模型相比,基于变压器的模型在实验条件下更准确地复制了人类的表现模式.
• 在变压器模型中逐步降低采样被确定为对等级形状抽象至关重要.

结论:

• 深度学习模型,特别是基于变压器的架构,在开发类似人类的3D形状表示方面表现出前景.
• 通过像下方采样这样的操作进行等级抽象是模型有效捕获全球形状信息的关键.
• 需要进一步的研究才能充分理解和复制人工智能中人类3D形状感知的细微差别.